데이터 품질 소개

참조:www.datapine.com/blog/data-quality-management-and-metrics/ — 이미지 참조:www.datapine.com

데이터 품질에 대한 많은 정의가 있는데,일반적으로 데이터 품질은 데이터를 얼마나 사용할 수 있고 서빙 컨텍스트에 적합한지를 평가하는 것입니다.

다음과 같은 데이터 품질 측정에 도움이되는 많은 요소:

데이터 일관성:데이터 집합에 정의된 의미 규칙 위반입니다. .
데이터 정확도: 데이터베이스에 저장된 데이터 값이 실제 값과 일치하면 데이터가 정확합니다.
데이터 고유성:특정 필드,레코드 또는 데이터 세트에 대해 시스템 내에서 또는 시스템 간에 존재하는 원치 않는 중복의 측정값입니다.
데이터 완전성:데이터 수집에 값이 존재하는 정도.
데이터 적시성:데이터의 연령이 현재 작업에 적합한 정도.

가용성,조작 용이성,신뢰성 및 통화와 같은 다른 요소를 고려할 수 있습니다.

데이터 품질이 중요한 이유는 무엇입니까?

데이터 품질 향상은 중요한 관심사입니다 데이터가 조직 내의 모든 활동의 핵심으로 간주되기 때문에 데이터 품질이 좋지 않으면 부정확 한보고로 이어져 부정확 한 결정과 확실한 경제적 손해가 발생합니다.

데이터 품질을 개선하는 방법?

데이터 품질 개선:

교육 직원
데이터 품질 솔루션 구현

3.1. 교육 직원

데이터 품질 솔루션 구현에 대해 생각하기 전에 먼저 데이터 입력과 같은 조직 내 인간 활동으로 인한 데이터 품질 문제를 최소화해야합니다. 또한 모든 개발자와 데이터베이스 관리자는 비즈니스 프로세스에 대한 지식이 있어야 하며 데이터베이스 및 응용 프로그램을 개발하고 디자인할 때 통합 스키마를 참조해야 합니다.

3.2. 데이터 품질 솔루션 구현

데이터 품질을 향상시키는 다른 방법은 데이터 품질 솔루션을 구현하는 것입니다. 데이터 품질 솔루션은 다음과 같은 품질 작업을 수행하는 도구 또는 응용 프로그램 집합입니다:

기술 자료 작성:기술 자료는 정보를 배포하기 위해 컴퓨터에서 읽을 수 있는 리소스입니다.
데이터 중복 제거:의미 규칙 집합을 기반으로 중복된 정보를 제거합니다.
데이터 정리:값에서 원하지 않는 문자 및 기호를 제거합니다.
데이터 프로파일링:기존 정보 원본에서 사용할 수 있는 데이터를 검사하는 프로세스입니다(예: 데이터베이스 또는 파일)및 해당 데이터에 대한 통계 또는 정보 요약을 수집합니다.
데이터 매칭:데이터 일치는 레코드 연결 및 엔티티 해결과 같은 기술을 사용하여 수집 된 데이터의 두 세트를 비교하려는 노력을 설명합니다.

4.1. 이 플랫폼에는 데이터를 이해하고,정화하고,모니터링하고,변환하고,전달하고,비즈니스와 비즈니스 간의 격차를 해소하기 위해 협업할 수 있는 제품군이 포함되어 있습니다. 인포 스피어 정보 서버는 크고 작은 모든 데이터 볼륨을 처리하는 확장 성이 높고 유연한 통합 플랫폼을 제공하기 위해 대규모 병렬 처리 기능을 제공합니다.

인포스피어 정보 서버는 데이터 통합에서 데이터 품질 및 데이터 거버넌스에 이르기까지 고유 한 정보 통합 요구 사항을 유연하게 충족하여 미션 크리티컬 비즈니스 이니셔티브(예:빅 데이터 및 분석,데이터 웨어하우스 현대화,마스터 데이터 관리 및 영향 시점 분석)에 신뢰할 수있는 정보를 제공 할 수있는 기능을 제공합니다.

홈페이지: https://www.ibm.com/analytics/information-server

4.2. 인포매티카 데이터 품질

인포매티카 데이터 품질은 온프레미스 또는 클라우드의 모든 비즈니스 애플리케이션에 대해 모든 이해 관계자,프로젝트 및 데이터 도메인에 신뢰할 수 있는 데이터를 제공합니다.

홈페이지: https://www.informatica.com/products/data-quality/informatica-data-quality.html

4.3. 오라클 데이터 품질

오라클 엔터프라이즈 데이터 품질은 파티 및 제품 데이터에 대한 완벽한 동급 최고의 접근 방식을 제공하여 애플리케이션과 통합되어 비즈니스 통찰력을 향상시키는 신뢰할 수 있는 마스터 데이터를 제공합니다.

홈페이지: http://www.oracle.com/us/products/middleware/data-integration/enterprise-data-quality/overview/index.html

4.4. 데이터 품질 서비스는 지식 기반 데이터 품질 제품입니다. 기술 자료를 구축하고 이를 사용하여 데이터의 수정,보강,표준화,중복 제거 등 다양한 중요한 데이터 품질 작업을 수행할 수 있습니다. 참조 데이터 공급자가 제공하는 클라우드 기반 참조 데이터 서비스를 사용하여 데이터 정리를 수행할 수 있습니다. 또한 데이터 품질 작업에 통합된 프로파일링을 제공하여 데이터의 무결성을 분석할 수 있습니다.

홈페이지: https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-services

4.5. 멜리사 데이터 품질

1985 년부터 멜리사는 데이터 프로파일링 및 표준화,정리,강화,링크 및 중복 제거 등 다양한 기능을 갖춘 엔터프라이즈 데이터 품질 도구를 제공해왔습니다. 우리의 임무는 더 큰 통찰력을 위해 신뢰할 수 있고 신뢰할 수있는 정확한 정보를 제공하는 동급 최고의 솔루션을 조직에 제공하는 것입니다.

홈페이지: https://www.melissa.com/uk/data/data-quality

4.6. 탈렌드 데이터 품질

탈렌드의 엔터프라이즈 데이터 품질 도구는 데이터를 프로파일 링,정리 및 마스크하는 동시에 시간에 따른 데이터 품질을 모든 형식 또는 크기로 모니터링합니다. 데이터 중복 제거,유효성 검사 및 표준화는 액세스,보고,분석 및 운영을 위한 깨끗한 데이터를 생성합니다. 우편 확인,비즈니스 식별,신용 점수 정보 등을 위해 외부 소스로 데이터를 보강하십시오.

홈페이지: https://www.talend.com/products/data-quality/

4.7. 싱크소트 트릴리움 소프트웨어 리드

싱크소트 트릴리움 클라우드는 싱크소트 관리 강화되고 안전한 콜루드 환경의 구축 용이성과 운영 유연성을 갖춘 업계 최고의 엔터프라이즈 데이터 품질 솔루션을 제공합니다.

홈페이지: http://www.syncsort.com/en/About/Trillium-Software

4.8. 데이터 품질 소프트웨어를 사용하면 데이터의 일관성과 무결성을 향상시킬 수 있습니다. 데이터 품질을 높이면 분석 결과의 가치가 높아집니다.

데이터 품질 소프트웨어는 다양한 데이터 품질 작업을 지원합니다. 데이터 품질 작업에는 데이터의 특정 컨텍스트(예:이름 또는 거리 주소)에 적용되는 미리 정의된 규칙이 사용됩니다. 데이터 품질 작업의 예로는 대/소문자,구문 분석,유사 항목 일치 및 표준화가 있습니다.

홈페이지: https://www.sas.com/en_us/software/data-quality.html

또한,데이터 품질 평가 및 개선을 위한 방법론,”데이터 품질 평가 및 개선 방법론”,”데이터 품질 평가 및 개선 방법론”,”데이터 품질 평가 및 개선 방법론”,”데이터 품질 평가 및 개선 방법론”, 41,피.16,2009.
디. 맥길브레이,”품질 데이터와 신뢰할 수 있는 정보의 10 단계”,2008 년 정보 품질 산업 심포지엄.
“정확성을 넘어서:데이터 품질이 데이터 소비자에게 의미하는 것”,경영 정보 시스템 저널,제 1 권. 12,5-33 쪽,1996.
시디 파티마,샤리앗 파나히,파얌 하사니,릴리 수리 아니 아펜디,마르자나 자바르,하미다 이브라힘,아이다 무스타파,”데이터 품질:데이터 품질 차원의 조사”,절차—2012 정보 검색 및 지식 관리에 관한 국제 회의,캠프’12,2012.”데이터 품질이란 무엇이며 왜 우리가 관심을 가져야 하는가?” 4(2),제 2 판,1-9 쪽,2016.
기술 자료,”기술 대상”,3 2007. . 유효한:https://searchcrm.techtarget.com/definition/knowledge-base. .
“데이터 프로파일 링,”위키 백과,. 유효한:https://en.wikipedia.org/wiki/Data_profiling. .
“데이터 일치 란 무엇입니까?”테크 피디아,. 유효한:https://www.techopedia.com/definition/28041/data-matching. .
“아이비엠 정보 서버,”아이비엠,. 유효한:https://www.ibm.com/analytics/information-server. .
“최고의 데이터 품질 소프트웨어,”지투크라우드,. 유효한:https://www.g2crowd.com/categories/data-quality. .
“오라클 엔터프라이즈 데이터 품질,”오라클,. 유효한:http://www.oracle.com/us/products/middleware/data-integration/enterprise-data-quality/overview/index.html. .
“데이터 품질 서비스,”마이크로 소프트,10 12 2013. . 유효한:https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-services?보기=2017. .
“데이터 품질,”탈렌드,. 유효한:https://www.talend.com/products/data-quality/. .
“트릴륨 소프트웨어,”동기화,. 유효한:http://www.syncsort.com/en/About/Trillium-Software. .
“데이터 품질 및 데이터 품질 서버,”. 유효한:http://support.sas.com/software/products/dataqual/index.html.