개발자는 항상 각 단계의’열’탭에서 열과 데이터 유형을 정의합니다.
열 탭 이외의 열을 정의하는 다른 방법이 있다는 것을 알고 있습니까?
스키마는 병렬 작업에 사용되는 데이터에 대한 열 정의를 지정하는 대체 방법입니다.
아시다시피 기본적으로 대부분의 병렬 작업 단계는 테이블 정의가 포함된 열 탭에서 메타 데이터를 가져옵니다.
일부 스테이지의 경우 스테이지가 지정된 스키마 파일에서 메타 데이터를 가져오도록 하는 속성을 대신 지정할 수 있습니다.
또한 읽기:링크 정렬과 정렬 단계의 차이
일부 단계에서는 부분 스키마를 지정할 수도 있습니다. 이렇게 하면 특정 스테이지에서 처리하는 열만 정의하고 나머지 열은 무시할 수 있습니다.
스키마 파일은 일반 텍스트 파일입니다. 그리고 그것을 함께 저장하는 것이 좋습니다.”스키마’확장,당신은 파일 시스템에서 쉽게 식별 할 수 있도록.
스키마 파일 형식:
스키마에 레코드(또는 행)정의가 포함됩니다. 여기에는 레코드 내에서 발생할 각 열(또는 필드)에 대해 설명하고 열 이름과 데이터 유형을 제공합니다. 다음은 예제 레코드 스키마입니다.
이름:문자열;
주소:부분 스키마를 정의한 경우 이를 생략할 수 있습니다(예:
레코드(이름:문자열)
유효한 스키마입니다.
열을 설명하는 각 줄의 형식은 다음과 같습니다:
column_name:datatype;
열 _이름:열을 식별하는 이름입니다. 이름은 문자나 밑줄(_)로 시작해야 하며 영숫자 또는 밑줄 문자만 포함할 수 있습니다. 이름은 대/소문자를 구분하지 않습니다.
널 가능성:열에 널 값을 포함하도록 허용할지 또는 유효하지 않은 것으로 표시할지 여부를 선택적으로 지정할 수 있습니다. 열이 널일 수 있는 경우’널 가능’이라는 단어를 삽입합니다. 기본적으로 열은 널할 수 없습니다.
레코드 수준에’널 가능’을 포함시켜 모든 열을 널 가능하도록 지정한 다음’널 불가능’을 지정하여 개별 열에 대한 설정을 재정의할 수도 있습니다. 예:
이름:널 가능 하지 않은 문자열;
값 1:
날짜 출생:날짜)
데이터 유형: 이 열의 데이터 유형입니다. 내부 데이터 형식은 사용되지만 스테이지 편집기의 열 탭에 사용되는 데이터 형식은 사용하지 않습니다.
스키마 정의 파일에 주석을 포함할 수 있습니다. 주석은 이중 슬래시//로 시작하고 줄 바꿈으로 끝납니다.
스키마 파일을 사용하여 열 메타 데이터를 정의하려면 항상 런타임 열 전파가 켜져 있는지 확인해야 합니다.
또한 읽기:데이터 스테이지에서 필드 기능이 어떻게 작동합니까?