Pipeline Builder의 데이터, 브랜치와 검증 조건

Pipeline Builder의 파이프라인은 입력 자산, 변환과 출력의 연결로 구성됩니다. 브랜치에서 로직과 결과를 검토하고, 스케줄과 데이터 검증 조건으로 지속적인 갱신을 관리합니다.

데이터셋과 다른 입력 자산

Foundry 데이터셋은 저장 계층에 있는 파일 집합을 감싼 리소스입니다. 원천에서 수집한 데이터를 정리하고 온톨로지의 객체 모델에 연결하는 동안 표 형식 데이터셋을 많이 사용합니다. Pipeline Builder는 정형 데이터와 반정형 데이터 외에도 지원되는 미디어 집합 및 가상 테이블을 다룰 수 있습니다.

입력 자산마다 자료형, 읽기 및 출력 지원이 다르므로 파일 집합, 스트림과 테이블을 같은 저장 모델로 취급하지 않습니다. 데이터 자산과 실제 사용 엔진의 조건을 함께 확인합니다.

브랜치

파이프라인 브랜치는 운영 파이프라인에 바로 반영하지 않고 로직을 변경할 수 있는 작업 공간입니다. 그 브랜치에서 수정, 미리보기, 저장과 빌드를 수행한 뒤 변경을 main 브랜치로 병합하도록 제안할 수 있습니다.

Pipeline Builder 브랜치 이름을 Code Repositories와 맞추어 두 도구의 변경을 함께 시험할 수도 있습니다. 현재 브랜치에 입력 데이터셋이 빌드되어 있지 않으면 폴백 브랜치 구성이 어떤 입력을 읽을지 결정합니다.

Builder 브랜치의 편집은 Code Repositories의 자동 저장과 다릅니다. 화면을 떠나기 전에 Save로 저장해야 합니다.

변환과 출력

변환은 입력 집합을 받아 출력 집합을 만드는 함수에 해당합니다. 그래프에서는 변환 경로, 조인과 Union 등으로 필요한 처리 관계를 표현합니다. 값 하나를 계산하는 표현식과 테이블을 바꾸는 변환의 차이는 함수 선택에서 설명합니다.

파이프라인 출력은 데이터셋, 파일, 가상 테이블 또는 객체 유형, 링크 유형과 시계열 같은 온톨로지 구성일 수 있습니다. 실제 출력 유형은 실행 방식과 입력에 따라 선택합니다. 만들어진 결과는 Quiver나 Code Workbook 등 다른 Foundry 도구에서 사용할 수 있습니다.

출력에 연결되지 않은 경로는 빌드에 필요하지 않아 제거될 수 있으므로, 미리보기에서 보이는 모든 노드가 배포 시 저장되는 것은 아닙니다.

스케줄

스케줄은 데이터가 계속 갱신되도록 빌드를 반복 실행하는 구성입니다. 특정 시각이나 주기를 사용하거나 상위 리소스의 갱신 상태를 트리거로 사용할 수 있습니다.

예를 들어 원천 데이터셋이 갱신되면 최종 출력까지의 연결 구간을 빌드하도록 구성할 수 있습니다. 스케줄의 실행 조건과 범위를 함께 정해야 불필요한 상위 재빌드를 피할 수 있습니다.

데이터 검증 조건

Data expectations는 출력이 충족해야 하는 요구입니다. 기본 키, 행 수와 행 수준 조건 등을 각 출력에 설정할 수 있습니다. 예를 들어 기본 키는 지정한 열마다 null이 없고 열들의 조합이 고유한지 확인합니다.

출력의 검증 조건이 실패하면 빌드가 실패하며 작업의 검증 패널에서 통과 및 실패 항목을 볼 수 있습니다. 중간 변환 로직에는 단위 테스트를 구성하여 입력 사례와 예상 결과를 비교할 수 있습니다. 단위 테스트의 사례 검증과 실제 출력 데이터 전체에 대한 검사는 목적이 다릅니다.

미리보기는 빠르게 로직과 통계를 확인하는 도구입니다. 샘플만 사용한 결과가 전체 빌드의 모든 데이터 조건을 확인한 것은 아니므로 검증 방법을 구분합니다.