파이프라인 빌드 예약
스케줄은 데이터 파이프라인을 언제, 어디까지, 어떤 권한으로 빌드할지 정하는 구성입니다. 일정 시각에 실행할 수도 있고 데이터나 변환 로직이 바뀌었을 때 실행할 수도 있습니다. 시간 조건과 변경 이벤트를 결합하면 필요한 갱신이 있을 때만 정해진 시각에 처리하는 방식도 구성할 수 있습니다.
실행 조건과 빌드 범위
트리거는 실행 조건을 판단합니다. 빌드 선택은 조건이 충족된 뒤 처리할 데이터셋을 결정합니다. 두 설정은 독립적이므로, 이벤트를 감시하는 데이터셋과 실제로 빌드하는 데이터셋이 반드시 같지는 않습니다.
| 설정할 내용 | 선택할 수 있는 동작 |
|---|---|
| 시간 | 특정 시각이나 반복 주기에 실행합니다. 시간대와 cron 조건을 함께 설정합니다. |
| 데이터 변경 | 데이터셋, 미디어 집합 또는 테이블의 갱신 이벤트를 기다립니다. |
| 로직 변경 | 데이터셋을 계산하는 로직이 변경되었을 때 실행합니다. |
| 복합 조건 | 시간과 이벤트를 AND 또는 OR로 결합하고 괄호로 중첩합니다. |
| 빌드 범위 | 한 데이터셋만, 대상과 모든 상위 의존 데이터셋, 특정 입력에 의존하는 하위 데이터셋, 입력과 대상 사이의 연결 구간 등을 선택합니다. 여러 대상과 조건도 함께 사용할 수 있습니다. |
실행 시점마다 실제 의존 관계를 다시 해석하므로 파이프라인이 바뀌면 빌드에 포함되는 데이터셋도 바뀔 수 있습니다. 프로젝트 범위나 사용자 계정 범위는 이 동적 선택이 넘어갈 수 없는 권한 경계를 정합니다.
기본적으로 같은 스케줄의 실행은 겹치지 않습니다. 이전 실행이 끝나지 않았을 때 발생한 트리거는 대기하며, Allow overlapping runs를 켜면 같은 스케줄의 실행을 겹쳐 시작할 수 있습니다. 스케줄 이력의 Succeeded는 빌드를 시작했다는 뜻이므로 실제 데이터 갱신 성공은 연결된 빌드 결과에서 확인합니다.
작업별 안내
| 작업 | 다루는 내용 |
|---|---|
| 스케줄 생성 | 대상, 제외 데이터셋, 브랜치, 빌드 유형, 권한 범위와 고급 실행 옵션을 구성합니다. |
| 트리거 참조 | 5필드 cron, 시간대 변경, 이벤트 종류와 복합 조건의 상태를 설명합니다. |
| 일반적인 구성 | 평일 정기 실행, 변경 즉시 실행, 시간과 이벤트의 AND 및 OR를 구성합니다. |
| 이력 조회와 변경 | 실행 지표, 버전 비교, 수정, 일시 정지, 자동 정지 복구와 삭제를 다룹니다. |
| 여러 스케줄 검색 | Build Schedules에서 조건을 합치고 최근 실행을 비교하거나 일괄 관리합니다. |
| 문제 해결 | 실패, Ignored, 미실행, 일부 작업만 실행되는 경우와 권한 오류를 구분합니다. |
| 운영 구성 | 소유 범위, 재시도, 강제 빌드 분리와 최종 출력 지정 기준을 설명합니다. |
| Marketplace 배포 | 설치 가능한 제품에 포함할 수 있는 스케줄의 조건과 추가 절차를 설명합니다. |
| 매개변수화 | 같은 Python 변환을 다른 값으로 실행하고 병렬 실행 결과를 union view로 모읍니다. |
빌드는 스케줄이 시작하는 실행 단위이고, Data Lineage는 의존 관계와 스케줄의 선택 범위를 확인하는 화면입니다.