Data Lineage에서 데이터셋 빌드

Builds helper는 그래프에서 선택한 데이터셋을 기준으로 빌드를 구성합니다. 실행은 현재 그래프의 브랜치와 적용 가능한 fallback에 적용되므로 먼저 브랜치 설정을 확인합니다. 글로벌 브랜치 모드에서는 fallback을 사용하지 않습니다.

모든 상위 데이터셋 포함

All ancestor datasets는 선택한 데이터셋과 그 상위 데이터를 빌드하여 최신 상태로 만듭니다. 기본적으로 오래된 상위 데이터만 빌드하고 이미 최신인 데이터의 강제 재빌드는 선택 사항입니다. 강제 실행은 시간과 연산 비용을 늘릴 수 있습니다.

1. 데이터를 그래프에 추가하거나 저장 그래프를 엽니다.
2. 빌드할 데이터셋을 선택합니다.
3. Builds helper에서 All ancestor datasets, Next를 선택합니다.

Next는 빌드를 실행하지 않고 대상 목록의 미리보기만 만듭니다. 대상을 바꾸려면 미리보기에서 Cancel을 선택하고 그래프의 노드 선택을 바꾼 뒤 다시 미리보기를 만듭니다. 미리보기 안에서 선택 범위를 직접 바꾸지 않습니다.

4. 필요한 최신 데이터셋에만 Force build를 설정합니다.
5. 최종 목록을 확인한 뒤 Run build로 실행합니다.

선택한 입력과 출력 사이만 빌드

All transforms in between selected dataset(s)는 파이프라인의 일부 구간을 빌드합니다. 새 원천 데이터가 들어왔을 때 특정 출력만 갱신하되 모든 오래된 조상까지 빌드하고 싶지 않은 경우에 사용할 수 있습니다.

1. 최종 출력 데이터셋을 그래프에 추가합니다.
2. 시작점으로 삼을 원시 또는 상위 데이터셋도 추가합니다.
3. 관련 노드를 선택합니다.
4. Builds helper에서 이 전략을 선택하고 Next로 미리보기를 봅니다.

매우 큰 파생 데이터셋처럼 매번 빌드하고 싶지 않은 대상이 있으면 목록 아래의 Add all to graph로 후보를 그래프에 추가해 범위를 검토할 수 있습니다. 실제 선택을 바꿀 때에는 Cancel 후 그래프에서 다시 선택하여 미리보기를 만듭니다. 마지막 실행 버튼을 누르기 전에는 빌드가 시작되지 않습니다.

선택한 데이터셋만 빌드

Selected datasets는 개별 선택 대상을 빌드합니다. 선택한 데이터셋 사이에 의존 관계가 있으면 상위가 먼저, 하위가 나중에 실행되도록 순서를 정합니다.

최종 목록을 확인하고 Run build로 실행합니다. 여기에서도 선택 변경은 Cancel 후 그래프에서 수행합니다.

운영 파이프라인 전체를 같은 재시도, 실패 전략과 제외 조건으로 다시 실행하려는 경우에는 임의의 부분 빌드보다 기존 스케줄의 Run Schedule Now가 적합합니다. 부분 빌드는 필요한 범위와 그 영향을 알고 사용하는 별도 실행 방식입니다.