Bevezetés Az Adatminőségbe

az adatminőségnek számos meghatározása létezik, általában az adatminőség annak értékelése, hogy az adatok mennyire használhatók és illeszkednek a kiszolgáló kontextusához.

számos tényező segíti az adatminőség mérését, például:

• adatkonzisztencia: az adatkészlet felett meghatározott szemantikai szabályok megsértése. .
• Adatok Pontossága: Az adatok pontosak, ha az adatbázisban tárolt adatértékek megfelelnek a valós értékeknek.
• adatok egyedisége: egy adott mező, rekord vagy adatkészlet rendszerein belül vagy azok között létező nem kívánt duplikáció mértéke.
• az adatok teljessége: az adatok gyűjtésének mértéke.
• adatok időszerűsége: az adatok életkorának mértéke az adott feladathoz.

egyéb tényezőket is figyelembe lehet venni, mint például a rendelkezésre állás, a manipuláció egyszerűsége, a hihetőség és a pénznem.

miért fontos az adatminőség?

az adatminőség javítása kritikus kérdés, mivel az adatokat a szervezeten belüli összes tevékenység magjának tekintik, a rossz adatminőség pontatlan Jelentésekhez vezet, amelyek pontatlan döntéseket eredményeznek, és biztosan gazdasági károkat okoznak.

hogyan javítható az adatminőség?

az adatminőség javulását az alábbiak érik el:

1. személyzet képzése
2. adatminőségi megoldások megvalósítása

3.1. Személyzet képzése

mielőtt az adatminőségi megoldások bevezetésén gondolkodnánk, először minimalizálnunk kell a szervezeten belüli emberi tevékenységek, például az adatbevitel által okozott adatminőségi problémákat. Minden fejlesztőnek és adatbázis-adminisztrátornak jól ismernie kell az üzleti folyamatot, és az adatbázisok és alkalmazások fejlesztése és tervezése során egységes sémára kell hivatkoznia.

3.2. Adatminőségi megoldások megvalósítása

az adatminőség javításának másik módja az adatminőségi megoldások megvalósítása. Az adatminőségi megoldások olyan eszközök vagy alkalmazások összessége, amelyek minőségi feladatokat hajtanak végre, például:

• Tudásbázis létrehozása: a Tudásbázis géppel olvasható erőforrás az információk terjesztésére.
• adatok duplikálása: a duplikált információk eltávolítása szemantikai szabályok alapján.
• adattisztítás: a nem kívánt karakterek és szimbólumok eltávolítása az értékekből.
• Adatprofilozás: a meglévő információforrásból (pl. adatbázis vagy fájl) és statisztikák vagy tájékoztató összefoglalók gyűjtése az adatokról.
• Adatmegfelelés: az adatmegfelelés két összegyűjtött adathalmaz összehasonlítását írja le olyan technológiák alkalmazásával, mint a Rekordkapcsolás és az entitás felbontása.

népszerű adatminőségi megoldások

ebben a szakaszban bemutatom a piac legnépszerűbb adatminőségi megoldásait.

4.1. IBM Infosphere information server

az IBM InfoSphere Information Server egy piacvezető adatintegrációs platform, amely olyan termékcsaládot foglal magában, amely lehetővé teszi az adatok megértését, tisztítását, figyelemmel kísérését, átalakítását és átadását, valamint az üzleti és az IT közötti szakadék áthidalását. Az InfoSphere Information Server masszívan párhuzamos feldolgozási (MPP) képességeket biztosít, hogy rendkívül skálázható és rugalmas integrációs platformot biztosítson, amely kezeli az összes adatmennyiséget, kicsi és nagy.

az InfoSphere Information Server lehetővé teszi, hogy rugalmasan megfeleljen az Ön egyedi információintegrációs követelményeinek — az adatintegrációtól az adatminőségig és az adatirányításig—, hogy megbízható információkat szolgáltasson a kritikus üzleti kezdeményezésekhez (például nagy adatok és elemzések, adattárház korszerűsítése, törzsadatok kezelése és hatáspont-elemzés).

• honlap: https://www.ibm.com/analytics/information-server

4.2. Informatica Data Quality

az Informatica Data Quality megbízható adatokat szolgáltat minden érdekelt fél, projekt és adatterület számára minden üzleti alkalmazáshoz a helyszínen vagy a felhőben.

• honlap: https://www.informatica.com/products/data-quality/informatica-data-quality.html

4.3. Oracle Data Quality

Az Oracle Enterprise Data Quality A fél-és termékadatok teljes körű, legjobb megközelítését nyújtja, ami megbízható törzsadatokat eredményez, amelyek integrálódnak az alkalmazásokkal az üzleti betekintés javítása érdekében.

• honlap: http://www.oracle.com/us/products/middleware/data-integration/enterprise-data-quality/overview/index.html

4.4. Microsoft Data Quality Services

az SQL Server Data Quality Services (DQS) egy tudásalapú adatminőségi termék. A DQS lehetővé teszi, hogy tudásbázist építsen, és azt különböző kritikus adatminőségi feladatok elvégzésére használja, beleértve az adatok javítását, gazdagítását, szabványosítását és duplikálását. A DQS lehetővé teszi az adattisztítást a referenciaadatszolgáltatók által nyújtott felhőalapú referenciaadatszolgáltatások használatával. A DQS olyan profilalkotást is biztosít, amely integrálva van az adatminőségi feladataiba, lehetővé téve az adatok integritásának elemzését.

• honlap: https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-services

4.5. Melissa Data Quality

1985 óta a Melissa széles körű képességekkel látja el a vállalati adatminőségi eszközöket, beleértve az adatok profilozását és szabványosítását, tisztítását, gazdagítását, összekapcsolását és dedupálását. Küldetésünk, hogy a legjobb megoldásokat nyújtsuk a szervezeteknek, amelyek megbízható, megbízható, pontos információkat szolgáltatnak a nagyobb betekintés érdekében.

• honlap: https://www.melissa.com/uk/data/data-quality

4.6. Talend Data Quality

a Talend vállalati adatminőségi eszköze profilozza, tisztítja és maszkolja az adatokat, miközben figyelemmel kíséri az adatok minőségét, bármilyen formátumban vagy méretben. Az adatok duplikálása, érvényesítése és szabványosítása tiszta adatokat hoz létre a hozzáféréshez, a jelentéshez, az elemzéshez és a műveletekhez. Gazdagítsa az adatokat külső forrásokkal a postai érvényesítéshez, az üzleti azonosításhoz, a hitelképességi információkhoz stb.

• honlap: https://www.talend.com/products/data-quality/

4.7. Syncsort Trillium Software Lead

A Syncsort Trillium Cloud iparágvezető vállalati adatminőségi megoldást kínál a Syncsort által kezelt edzett, biztonságos colud környezet egyszerű telepítésével és működési rugalmasságával.

• honlap: http://www.syncsort.com/en/About/Trillium-Software

4.8. SAS adatminőség

A SAS adatminőség szoftver lehetővé teszi az adatok konzisztenciájának és integritásának javítását. Ha növeli az adatok minőségét, növeli az analitikai eredmények értékét.

A SAS adatminőségi szoftver számos adatminőségi műveletet támogat. Az adatminőségi műveletek előre meghatározott szabályokat alkalmaznak, amelyek az adatok konkrét kontextusára vonatkoznak (például nevek vagy utcacímek). Az adatminőségi műveletek példái közé tartozik a burkolat, az elemzés, a fuzzy illesztés és a szabványosítás.

• honlap: https://www.sas.com/en_us/software/data-quality.html

• C. Batini, C. Cappiello, C. Francalanci, A. Maurino, “Methodologies for data quality assessment and improvement” ACM Computing Surveys (CSUR), vol. 41, p. 16, 2009.
• D. McGilvray, “tíz lépés a minőségi adatokhoz és a megbízható információkhoz” MIT Information Quality Industry Symposium, 2008.
• R. Y. W. A. D. M. Strong, “a pontosságon túl: mit jelent az adatminőség az adatfogyasztók számára” Journal of management information systems, vol. 12, 5-33., 1996.
• Sidi Fatimah,Shariat Panahy, Payam Hassany, Lilly Suriani Affendey, Marzanah A. Jabar, Hamidah Ibrahim, Aida Mustapha, “adatminőség: adatminőségi dimenziók felmérése” In Proceedings — 2012 International Conference on Information Retrieval and Knowledge Management, CAMP’12, 2012.
• Herzog, Thomas N.,scheuren, f.j, winkler, “mi az adatminőség és miért kellene törődnünk” Journal of Industrial Engineering and Management, vol. 4(2), no. 2.kiadás, PP. 1-9, 2016.
• M. Rouse, “Tudásbázis” TechTarget, 3 2007. . Elérhető: https://searchcrm.techtarget.com/definition/knowledge-base. .
• “Adatprofil,” Wikipedia, . Elérhető: https://en.wikipedia.org/wiki/Data_profiling. .
• “mi az Adatmegfelelés?, “Techopedia, . Elérhető: https://www.techopedia.com/definition/28041/data-matching. .
• “IBM Information Server,” IBM,. Elérhető: https://www.ibm.com/analytics/information-server. .
• “Legjobb Adatminőségű Szoftver,” G2Crowd,. Elérhető: https://www.g2crowd.com/categories/data-quality. .
• “Oracle Enterprise Data Quality,” Oracle,. Elérhető: http://www.oracle.com/us/products/middleware/data-integration/enterprise-data-quality/overview/index.html. .
• “Adatminőségi Szolgáltatások”, Microsoft, 10 12 2013. . Elérhető: https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-services?nézet=sql-szerver-2017. .
• “Adatminőség,” Talend, . Elérhető: https://www.talend.com/products/data-quality/. .
• “Trillium Software,” Syncsort,. Elérhető: http://www.syncsort.com/en/About/Trillium-Software. .
• “SAS adatminőség és adatminőség szerver,” SAS,. Elérhető: http://support.sas.com/software/products/dataqual/index.html.