inmiddels begrijpen de meeste bedrijven de aantrekkingskracht van big data analytics. Met big data kunnen bedrijven hun efficiëntie verbeteren, hun productiviteit verhogen en waardevolle inzichten verwerven die hun werk vooruit helpen. Weinigen zullen de belangrijke rol ontkennen die big data nu speelt in organisaties over de hele wereld, maar het verkrijgen van deze unieke voordelen vereist het hebben van hoogwaardige gegevens, iets dat steeds moeilijker is geworden om te doen. Maar al te vaak worden de gegevens die door bedrijven worden verzameld, gevuld met fouten, fouten en onvolledige waarden. Dit wordt aangeduid als vuile gegevens, en het kan een formidabel obstakel voor bedrijven in de hoop om die gegevens te gebruiken om te verbeteren vertegenwoordigen. Vuile gegevens is niet alleen een klein probleem in de grote regeling van de dingen, ofwel. Volgens het Data Warehouse Institute (TDWI), vuile data eindigt kost Amerikaanse bedrijven rond $600 miljard per jaar. Om dit probleem volledig aan te pakken, bedrijven nodig hebben om te begrijpen wat de oorzaken vuile gegevens en hoe het beste om het op te lossen.
gebruikersfouten
een deel van de sleutel om big data-analytics zo effectief mogelijk te gebruiken, is het hebben van accurate en volledige gegevens. Onbetrouwbare gegevens leiden vaker wel dan niet tot bedrijven die tot de verkeerde conclusies komen. Het probleem is wanneer de gebruiker fout kruipt in datasets. Een manier organisaties verzamelen gegevens over hun klanten is door hen in te vullen online formulieren. Wanneer volledig en correct ingevuld, dit geeft bedrijven veel informatie te ontleden en te analyseren. Wanneer klanten gaten in die gegevens achterlaten, echter, of wanneer ze deze foutief of opzettelijk invullen, zullen bedrijven zich in een ernstig nadeel bevinden. Dit is met name van belang bij sales en marketing teams die afhankelijk zijn van nauwkeurige klantinformatie om de verkoop te stimuleren. In feite, een recente enquête onder marketeers blijkt dat meer dan de helft (60 procent) zeggen dat de gezondheid van hun gegevens is onbetrouwbaar.
data Linking / Condensing
andere problemen met vuile gegevens doen zich voor wanneer organisaties proberen gegevens over verschillende sets te linken. Wanneer de sets van gegevens geen unieke identifier hebben, kan het koppelen van hen problemen veroorzaken, vaak opduiken in de vorm van herhaalde vermeldingen die niet werden gecombineerd als gevolg van kleine fouten. Of soms, gegevens worden gecombineerd wanneer het niet zou moeten zijn (zoals wanneer klanten met dezelfde naam hebben hun informatie gemengd). Dit soort vuile data problemen meestal opduiken wanneer bedrijven meerdere databases op hetzelfde moment in dienst en proberen om ze te combineren, of wanneer ze met behulp van oudere technologie die niet kan bijhouden met de huidige gegevens eisen. Dezelfde problemen kunnen optreden wanneer het proberen om meer complexe datasets condenseren in een meer beheersbare vorm.
hoe vuile gegevens op te schonen
zodra een bedrijf heeft vastgesteld wat de oorzaak is van vuile gegevens, kan het gaan proberen om die gegevens op te schonen. Zo ‘ n taak is niet altijd gemakkelijk, maar eenmaal voltooid, het kan de moeite waard het bedrijf de tijd, middelen, en inspanning. Het opschonen van gegevens vereist het gaan door de gegevens zorgvuldig, opmerkend waar onjuiste of afwezige waarden de nauwkeurigheid van gegevens zouden kunnen schaden. Natuurlijk, als de datasets zijn enorm, dit handmatig doen wordt bijna onmogelijk, maar gelukkig, big data algoritmen kunnen eigenlijk helpen bij het opruimen van vuile gegevens. Deze algoritmen zijn speciaal ontworpen om de meest voorkomende gevallen van gebruiker en collectie fouten op te lossen. Hoewel ze niet elke fout of onnauwkeurigheid kunnen oplossen, beperken ze het aantal fouten sterk, waardoor vuile gegevens veel schoner zijn dan voorheen.
voorkomen van vuile gegevens
organisaties kunnen ook de juiste voorbereidingen treffen om te voorkomen dat vuile gegevens ooit een groot probleem worden. Door het vestigen van een vertrouwensrelatie met klanten (zoals het niet vullen van hun e-mails met spam), mensen zullen minder bereid zijn om onjuiste of valse informatie op alle formulieren die ze invullen. Bedrijven kunnen ook gegevens opschonen door hun systemen bij te werken om ervoor te zorgen dat ze grote hoeveelheden gegevensverzameling en-analyse aankunnen. Bedrijven met de juiste technologie kan zelfs krijgen in data scrubbing, dat is als data cleaning, maar grondiger, waarbij processen zoals filteren, decoderen en vertalen.
vuile gegevens kunnen aanzienlijke problemen opleveren voor bedrijven die big data proberen te gebruiken. Een groot deel van de tijd, bedrijven niet beseffen dat ze zelfs een probleem totdat vuile gegevens is ongebreideld geworden. Het nemen van de stappen nu om gegevens schoon te maken en te voorkomen dat het probleem zal gaan een lange weg in de richting van het helpen van organisaties het meeste uit de gegevens die ze verzamelen. Alleen dan zullen ze de echte voordelen zien die big data analytics te bieden heeft.
