nu förstår de flesta företag överklagandet att använda big data analytics. Med big data kan företag förbättra sin effektivitet, öka produktiviteten och få värdefulla insikter som driver deras arbete framåt. Få kommer att förneka den viktiga roll som big data nu spelar i organisationer över hela världen, men att få de unika fördelarna kräver att ha högkvalitativa data, något som har blivit allt svårare att göra. Alltför ofta är de uppgifter som samlas in av företag fyllda med misstag, fel och ofullständiga värden. Detta kallas smutsiga data, och det kan utgöra ett formidabelt hinder för företag som hoppas kunna använda dessa data för att förbättra. Smutsiga data är inte bara en mindre fråga i det stora systemet med saker heller. Enligt Data Warehouse Institute (TDWI) kostar smutsiga data amerikanska företag cirka 600 miljarder dollar varje år. För att fullt ut ta itu med detta problem måste företag förstå vad som orsakar smutsiga data och hur man bäst åtgärdar det.
användarfel
en del av nyckeln till att använda Big data analytics mest effektivt är att ha data som är korrekta och fullständiga. Otillförlitliga uppgifter leder ofta till att företag kommer till fel slutsatser. Problemet är när användarfel kryper in i dataset. Ett sätt organisationer samlar in data om sina kunder är genom att låta dem fylla i onlineformulär. När det fylls i fullständigt och korrekt ger detta företag massor av information att analysera och analysera. När kunder lämnar hål i dessa uppgifter, Dock, eller när de fyller ut felaktigt av misstag eller med flit, företag kommer att finna sig på en allvarlig nackdel. Detta är särskilt oroande för försäljnings-och marknadsföringsteam som är beroende av korrekt kundinformation för att driva försäljningen. Faktum är att en ny undersökning av marknadsförare visar att mer än hälften (60 procent) säger att deras data är opålitliga.
Datalänkning/kondensering
andra problem med smutsiga data uppstår när organisationer försöker länka data över olika uppsättningar. När datamängderna inte har en unik identifierare kan länkning av dem skapa problem, ofta dyker upp i form av upprepade poster som inte kombinerades på grund av mindre fel. Eller ibland kombineras data när det inte borde vara (som när kunder med samma namn har sin information blandad). Dessa typer av smutsiga dataproblem uppstår oftast när företag använder flera databaser samtidigt och försöker kombinera dem, eller när de använder äldre teknik som inte kan hålla jämna steg med nuvarande datakrav. Samma problem kan uppstå när man försöker kondensera mer komplexa datamängder till en mer hanterbar form.
hur man rengör smutsiga Data
när ett företag har identifierat vad som orsakar smutsiga data kan det gå om att försöka rensa upp dessa data. En sådan uppgift är inte alltid lätt, men när den är klar kan det vara väl värt företagets tid, resurser och ansträngning. Data rengöring kräver att gå igenom data minutiöst, notera där felaktiga eller frånvarande värden kan skada data noggrannhet. Självklart, om datamängderna är enorma, blir det manuellt nästan omöjligt, men lyckligtvis kan stora dataalgoritmer faktiskt hjälpa till med att städa upp smutsiga data. Dessa algoritmer har utformats speciellt för att åtgärda de vanligaste fallen av användar-och insamlingsfel. Medan de kanske inte fixar varje misstag eller felaktighet, begränsar de kraftigt antalet fel, vilket gör smutsiga data mycket renare än tidigare.
förhindra Smutsiga Data
organisationer kan också vidta lämpliga förberedelser för att förhindra att smutsiga data någonsin blir ett stort problem i första hand. Genom att skapa ett förtroendefullt förhållande med kunder (som att inte fylla i sina e-postmeddelanden med skräppost) kommer människor att vara mindre villiga att ge felaktig eller falsk information om alla formulär de fyller i. Företag kan också städa upp data genom att uppdatera sina system för att säkerställa att de kan hantera stora mängder datainsamling och analys. Företag med rätt teknik kan till och med komma in i dataskrubbning, vilket är som datarengöring men mer grundlig, med processer som filtrering, avkodning och översättning.
Smutsiga data kan utgöra betydande problem för företag som försöker använda big data. En stor del av tiden, företag inser inte att de ens har ett problem tills smutsiga data har blivit frodas. Att ta stegen nu för att rensa data och förhindra problemet kommer att gå långt för att hjälpa organisationer att få ut det mesta av de data de samlar in. Först då kommer de att se de verkliga fördelarna som big data analytics har att erbjuda.
