johdatus tietojen laatuun

lähtötiedon laadulle on monia määritelmiä, yleensä lähtötiedon laatu on arvio siitä, kuinka paljon tietoa on käytettävissä ja sopii sen palvelevaan kontekstiin.

monet tekijät auttavat mittaamaan tietojen laatua, kuten:

• tietojen johdonmukaisuus: datajoukon yli määriteltyjen semanttisten sääntöjen rikkominen. .
• Tietojen Tarkkuus: Tiedot ovat tarkkoja, kun tietokantaan tallennetut tietoarvot vastaavat reaalimaailman arvoja.
• tietojen ainutlaatuisuus: tietyn kentän, tietueen tai tietojoukon järjestelmissä tai niiden välillä vallitsevan ei-toivotun päällekkäisyyden mitta.
• tietojen täydellisyys: se, missä määrin arvot esiintyvät tiedonkeruussa.
• tietojen oikea-aikaisuus: se, missä määrin tietojen ikä on kulloinkin kyseessä olevaa tehtävää varten.

Muut tekijät voidaan ottaa huomioon, kuten käytettävyys, manipuloinnin helppous, uskottavuus ja valuutta.

miksi tietojen laatu on tärkeää?

tietojen laadun parantaminen on kriittinen huolenaihe, koska tietoja pidetään organisaatioissa kaiken toiminnan ytimenä, tietojen huono laatu johtaa virheelliseen raportointiin, josta seuraa virheellisiä päätöksiä ja varmasti taloudellisia vahinkoja.

miten tietojen laatua voidaan parantaa?

tietojen laatua parannetaan:

1. Koulutushenkilöstö
2. tietojen laaturatkaisujen toteuttaminen

3.1. Henkilöstön kouluttaminen

ennen kuin mietitään tietojen laaturatkaisujen käyttöönottoa, on ensin minimoitava organisaation sisäisen ihmistoiminnan, kuten tietojen syöttämisen, aiheuttamat tietojen laatuongelmat. Myös kaikilla kehittäjillä ja tietokannan ylläpitäjillä on oltava hyvä tietämys liiketoimintaprosessista ja heidän on viitattava yhtenäiseen skeemaan tietokantoja ja sovelluksia kehitettäessä ja suunniteltaessa.

3.2. Tiedon laaturatkaisujen toteuttaminen

toinen tapa parantaa tiedon laatua on datan laaturatkaisujen toteuttaminen. Data quality solutions on joukko työkaluja tai sovelluksia, jotka suorittavat laatutehtäviä, kuten:

• tietopohjan luominen: tietopohja on koneellisesti luettava resurssi tiedon levittämistä varten.
• tietojen päällekkäisyys: poistetaan kahdennettu tieto semanttisten sääntöjen perusteella.
• tietojen puhdistus: ei-toivottujen merkkien ja symbolien poistaminen arvoista.
• tiedon profilointi: on prosessi, jossa tutkitaan olemassa olevasta tietolähteestä (esim. tietokanta tai tiedosto) ja keräämällä tilastotietoja tai informatiivisia tiivistelmiä kyseisistä tiedoista.
• tietojen täsmäytys: tietojen täsmäytys kuvaa pyrkimyksiä vertailla kahta kerättyjen tietojen joukkoa käyttäen teknologioita, kuten tietueiden yhdistämistä ja yhteisön kriisinratkaisua.

Popular data quality solutions

tässä osiossa esittelen eräitä markkinoiden suosituimpia datalaaturatkaisuja.

4.1. IBM Infosphere information server

IBM InfoSphere® Information Server on markkinoiden johtava data-integraatioalusta, joka sisältää tuoteperheen, jonka avulla voit ymmärtää, puhdistaa, seurata, muuttaa ja toimittaa tietoja sekä tehdä yhteistyötä kurotaksesi kiinni liiketoiminnan ja tietotekniikan välistä kuilua. InfoSphere Information Server tarjoaa massiivisesti rinnakkaiskäsittelyn (MPP) valmiuksia tarjota erittäin skaalautuva ja joustava integrointialusta, joka käsittelee kaikkia datamääriä, suuria ja pieniä.

InfoSphere Information Server tarjoaa sinulle mahdollisuuden joustavasti täyttää ainutlaatuiset tietointegraatiovaatimukset — data — integraatiosta datan laatuun ja datan hallintaan-ja toimittaa luotettavaa tietoa tehtäväkriittisiin liiketoiminnallisiin aloitteisiin (kuten big data ja analytiikka, tietovaraston modernisointi, master data management ja point-of-impact analytics).

• Kotisivu: https://www.ibm.com/analytics/information-server

4.2. Informatica Data Quality

Informatica Data Quality tarjoaa luotettavaa tietoa kaikille sidosryhmille, hankkeille ja tietoalueille kaikkiin liiketoimintasovelluksiin paikan päällä tai pilvipalvelussa.

• Kotisivu: https://www.informatica.com/products/data-quality/informatica-data-quality.html

4.3. Oracle Data Quality

Oracle Enterprise Data Quality tarjoaa täydellisen, rotunsa parhaan lähestymistavan puolue-ja tuotetietoihin, ja tuloksena on luotettava master data, joka integroituu sovelluksiin liiketoimintaymmärryksen parantamiseksi.

• Kotisivu: http://www.oracle.com/us/products/middleware/data-integration/enterprise-data-quality/overview/index.html

4.4. Microsoft Data Quality Services

SQL Server Data Quality Services (DQS) on tietoon perustuva tiedon laatutuote. DQS: n avulla voit rakentaa tietopohjan ja käyttää sitä erilaisten kriittisten tietojen laatutehtävien suorittamiseen, kuten tietojen korjaamiseen, rikastamiseen, standardointiin ja päällekkäisyyksien poistamiseen. DQS mahdollistaa tietojen puhdistamisen käyttämällä pilvipohjaisia referenssitietopalveluja, joita referenssitietojen tarjoajat tarjoavat. DQS tarjoaa myös profiloinnin, joka on integroitu sen tiedonlaatutehtäviin, jolloin voit analysoida tietojesi eheyttä.

• Kotisivu: https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-services

4.5. Melissa Data Quality

vuodesta 1985 Melissa on tarjonnut yritystietojen laatutyökaluja, joilla on laajat valmiudet, mukaan lukien tietojen profilointi ja standardointi, puhdistus, rikastaminen, linkittäminen ja deduping. Missiomme on tarjota organisaatioille rotunsa parhaita ratkaisuja, jotka tuottavat luotettavaa, luotettavaa ja tarkkaa tietoa paremman käsityksen saamiseksi.

• Kotisivu: https://www.melissa.com/uk/data/data-quality

4.6. Talend Data Quality

Talend ’ s enterprise data quality tool profiles, cleanses, and masks data, while monitoring data quality over time, in any format or size. Tietojen de-päällekkäisyys, validointi, ja standardointi luo puhdasta tietoa pääsyä, raportointi, analytiikka, ja toiminnot. Rikasta tietoja ulkoisilla lähteillä postin validointiin, yritysten tunnistamiseen, luottopistetietoihin ja muuhun.

• Kotisivu: https://www.talend.com/products/data-quality/

4.7. Syncsort Trillium Software Lead

Syncsortin Trillium Cloud tarjoaa alan johtavan yritysdatan laaturatkaisun Syncsortin hallinnoiman karkaistun, turvallisen colud-ympäristön käyttöönoton helppoudella ja toiminnallisuuden joustavuudella.

• Kotisivu: http://www.syncsort.com/en/About/Trillium-Software

4.8. SAS Data Quality

Sas Data Quality-ohjelmiston avulla voit parantaa tietojesi johdonmukaisuutta ja eheyttä. Kun parannat tietojesi laatua, nostat analyysitulosten arvoa.

SAS Data Quality-ohjelmisto tukee erilaisia tiedon laatutoimintoja. Tietojen laatutoiminnoissa käytetään ennalta määriteltyjä sääntöjä, jotka koskevat tietojesi tiettyä kontekstia (kuten nimiä tai katuosoitteita). Esimerkkejä tietojen laadun operaatioita ovat kotelo, jäsennys, sumea matching, ja standardointi.

• Kotisivu: https://www.sas.com/en_us/software/data-quality.html

• C. Batini, C. Cappiello, C. Francalanci, A. Maurino, ”Methodologies for data quality assessment and improvement”, ACM Computing Surveys (CSUR), vol. 41, s. 16, 2009.
• D. McGilvray, ”Ten Steps to Quality Data and Trusted Information”, mit Information Quality Industry Symposium, 2008.
• R. Y. W. a.D. M. Strong, ”Beyond accuracy: What data quality means to data consumers”, Journal of management information systems, vol. 12, s. 5-33, 1996.
• Sidi Fatimah, Shariat Panahy, Payam Hassany, Lilly Suriani Affendey, Marzanah A. Jabar, Hamidah Ibrahim, Aida Mustapha, ”Data quality: a survey of data quality dimensions”, teoksessa Proceedings — 2012 International Conference on Information Retrieval and Knowledge Management, CAMP’12, 2012.
• Herzog, Thomas N., scheuren, f. j, winkler, ”What Is Data Quality and Why Should We Care”, Journal of Industrial Engineering and Management, vol. 4(2), nro 2. painos, s.1-9, 2016.
• M. Rouse, ”Knowledge Base”, TechTarget, 3 2007. . Saatavilla: https://searchcrm.techtarget.com/definition/knowledge-base. .
• ”Tietojen Profilointi”, Wikipedia, . Saatavilla: https://en.wikipedia.org/wiki/Data_profiling. .
• ” mikä on tietojen täsmääminen?, ”Techopedia, . Saatavilla: https://www.techopedia.com/definition/28041/data-matching. .
• ”IBM Information Server,” IBM,. Saatavilla: https://www.ibm.com/analytics/information-server. .
• ”Best Data Quality Software”, G2Crowd, . Saatavilla: https://www.g2crowd.com/categories/data-quality. .
• ”Oracle Enterprise Data Quality,” Oracle, . Saatavilla: http://www.oracle.com/us/products/middleware/data-integration/enterprise-data-quality/overview/index.html. .
• ”Datan Laatupalvelut”, Microsoft, 10 12 2013. . Saatavilla: https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-services?view=sql-server-2017. .
• ”Tiedon Laatu”, Talend, . Saatavilla: https://www.talend.com/products/data-quality/. .
• ”Trillium Software,” Syncsort, . Saatavilla: http://www.syncsort.com/en/About/Trillium-Software. .
• ”SAS Data Quality and Data Quality Server”, SAS, . Saatavilla: http://support.sas.com/software/products/dataqual/index.html.