今では、ほとんどの企業はビッグデータ分析を使用することの魅力を理解しています。 ビッグデータを使用すると、企業は効率を向上させ、生産性を向上させ、仕事を前進させる貴重な洞察を得ることができます。 ビッグデータが世界中の組織で果たす重要な役割を否定する人はほとんどいませんが、これらのユニークな利点を得るには、高品質のデータを持つことが あまりにも頻繁に、企業によって収集されたデータは、間違い、エラー、および不完全な値で満たされています。 これはダーティデータと呼ばれ、そのデータを改善するために使用することを望んでいる企業にとっては大きな障害となる可能性があります。 ダーティデータは、物事の壮大なスキームでは単なる小さな問題ではありません。 Data Warehouse Institute（TDWI）によると、ダーティデータは毎年約6,000億ドルの米国企業の費用がかかります。 この問題に完全に対処するには、企業はダーティデータの原因とそれを修正する最善の方法を理解する必要があります。
ユーザーエラー
ビッグデータ分析を最も効果的に使用するための鍵の一部は、正確で完全なデータを持つことです。 信頼性の低いデータは、多くの場合、企業が間違った結論に至ることにつながります。 問題は、ユーザーエラーがデータセットに忍び寄るときです。 組織が顧客に関するデータを収集する方法の1つは、オンラインフォームに記入させることです。 完全かつ正確に記入された場合、これは企業に解析および分析するための多くの情報を提供します。 しかし、顧客がそのデータに穴を残したり、誤ってまたは意図的に不正確に記入したりすると、企業は深刻な不利な立場に陥ります。 これは販売を運転するために正確な顧客情報に依存する販売およびマーケティングのチームとの特に心配である。 実際、マーケティング担当者の最近の調査によると、半数以上（60％）がデータの健全性が信頼できないと回答しています。
データリンク/凝縮
ダーティデータに関するその他の問題は、組織が異なるセット間でデータをリンクしようとすると発生します。 データのセットに一意の識別子がない場合、それらをリンクすると問題が発生し、小さなエラーのために結合されなかった繰り返しエントリの形でポッ または、データが結合されるべきではないとき（同じ名前の顧客が情報を混在させているときなど）、データが結合されることがあります。 これらのタイプのダーティデータの問題は、企業が複数のデータベースを同時に使用してそれらを結合しようとするとき、または現在のデータ要求に追いつく より複雑なデータセットをより管理しやすい形式に凝縮しようとすると、同じ問題が発生する可能性があります。
汚れたデータをきれいにする方法
汚れたデータの原因を特定すると、そのデータをきれいにしようとすることができます。 このようなタスクは必ずしも簡単ではありませんが、一度完了すると、ビジネスの時間、リソース、労力の価値があります。 データのクリーニングには、データを細心の注意を払って調べる必要があり、値が正しくないか存在しないと、データの精度が損なわれる可能性があります。 明らかに、データセットが膨大な場合、これを手動で行うことはほぼ不可能になりますが、幸いなことに、ビッグデータアルゴリズムは実際に汚れたデータ これらのアルゴリズムは、ユーザーとコレクションのエラーの最も一般的なケースを修正するために特別に設計されています。 すべての間違いや不正確さを修正するわけではありませんが、エラーの数を大幅に制限し、汚れたデータを以前よりもはるかにきれいにします。
ダーティデータの防止
そもそもダーティデータが大きな問題になるのを防ぐために、組織は適切な準備を取ることもできます。 顧客との信頼関係を確立することによって(スパムで彼らの電子メールを満たさないことのような)、人々は記入するあらゆる形態で不正確か偽情報を提 企業は、大量のデータ収集と分析を確実に処理できるように、システムを更新することでデータをクリーンアップすることもできます。 適切な技術を持つ企業は、データ洗浄のようなものですが、フィルタリング、デコード、翻訳などのプロセスを含む、より徹底的なデータ洗浄に入ることさえ
ダーティデータは、ビッグデータを使用しようとする企業に重大な問題をもたらす可能性があります。 多くの場合、企業は、汚れたデータが横行するまで、彼らも問題を抱えていることを認識していません。 データをクリーンアップして問題を防止するための措置を講じることは、組織が収集したデータを最大限に活用するための長い道のりです。 それだけで、ビッグデータ分析が提供しなければならない真の利点が表示されます。
