Workbook 결과의 운영 갱신

Workbook이나 Code Workspaces는 코드 분석과 파이프라인 프로토타입에 적합합니다. 추가 승인, 대규모 처리와 성능 최적화가 필요한 운영 파이프라인에는 Pipeline Builder 또는 Code Repositories를 검토합니다. 도구별 기능 비교를 기준으로 이후 관리 방식을 정할 수 있습니다.

기존 Workbook의 출력을 운영에 쓰려면 브랜치 보호, batch build, 데이터 상태 검사와 저장 경계를 구성해야 합니다.

운영 브랜치 보호

보호 설정에는 Workbook Owner 권한이 필요합니다. 브랜치 메뉴 오른쪽 위 톱니바퀴를 선택합니다.

Protect this branch를 켭니다. 보통 master를 보호하지만 다른 브랜치에도 적용할 수 있습니다. 직접 로직을 편집하지 못하며 다른 브랜치에서 변경을 병합해야 합니다.

보호 브랜치는 기본적으로 대화형 Run을 허용하지 않습니다. 예약 빌드와 충돌하지 않도록 Foundry build로 출력을 갱신합니다.

Batch build와 스케줄

출력 하나는 데이터셋 작업의 Manage Schedules에서 스케줄을 만듭니다. 여러 출력은 Workbook 위쪽 톱니바퀴의 Explore Data Lineage로 열고 오른쪽 달력 아이콘에서 Manage Schedules를 사용합니다.

입력 갱신에 반응하거나 정해진 시각에 실행할 수 있습니다. Batch와 대화형 모듈은 분리되므로 오래 걸리는 운영 계산을 대화형 작성과 나눌 수 있습니다.

저장하지 않은 상위 노드

저장하지 않은 A를 입력으로 받는 저장된 B를 batch build하면 B는 A의 최신 로직과 최신 상위 입력 데이터를 사용합니다. 그러나 Workbook 화면에 있던 A의 미리보기나 A가 만든 시각화는 이 빌드로 갱신되지 않습니다.

저장된 출력의 갱신과 화면에 보이는 저장되지 않은 중간 결과의 갱신을 구분해야 합니다. 실행 경계는 선택적 persistence를 따릅니다.

데이터 health check

출력 데이터셋의 Health에서 빌드 실패, 오래된 데이터와 필요한 데이터 조건을 검사합니다. 알림을 구성하여 운영 문제를 받을 수 있습니다.

Data Health에서 검사와 알림의 세부 동작을 적용합니다.

프로젝트 폴더 정리

프로젝트에 다음 폴더를 두어 자산 종류를 나누는 방식이 권장됩니다.

• /data에는 출력 데이터셋을 둡니다.
• /workbooks에는 Workbook을 둡니다.
• /templates에는 만든 코드 템플릿을 둡니다.

Workbook을 /workbooks로, 만든 템플릿을 /templates로 옮깁니다. 출력은 Workbook 왼쪽 위 Output 드롭다운의 Change folder...에서 /data를 선택합니다.

기본적으로 Workbook에서 파생한 데이터셋들이 새 폴더로 함께 이동합니다. 이동할 범위를 확인합니다.

프로젝트를 넘는 이동은 프로젝트 범위와 참조의 조건을 충족해야 합니다.

그래프 정리

오른쪽 위 Colors에서 색 그룹을 만들고 노드를 선택한 뒤 그룹의 +로 추가합니다. Contents 목록도 색 그룹 기준으로 정렬할 수 있습니다.

오른쪽 위 layout 버튼은 기본적으로 전체 그래프를 재배치합니다. 특정 노드를 선택한 뒤 실행하면 선택 부분만 배치합니다.

Code Repository로 이전

프로토타입을 마쳤다면 Export to Code Repository를 사용할 수 있습니다. 전체 Git 이력, 이전 commit 복원, 증분 변환, 다중 출력, 보안 표지 전파 중단과 세밀한 PR 병합 정책이 필요할 때 적합합니다.

Python 변환의 편집 환경은 VS Code workspace가 권장되는 경우도 있으므로 저장소를 운영 단위로 사용하는 것과 웹 Code Repositories 편집기의 수명 주기를 구분합니다.