Pipeline Builder와 Code Repositories 함께 사용하기
Pipeline Builder는 그래프와 폼으로 파이프라인을 구성하는 도구이고, Code Repositories는 Git 저장소를 기반으로 코드를 작성하는 웹 IDE입니다. 두 도구가 같은 Foundry 데이터셋을 입력과 출력으로 사용하므로 한 파이프라인에서 함께 사용할 수 있습니다.
작업을 나누는 기준
일반적인 파이프라인 설계와 관리는 Pipeline Builder에서 시작하는 구성이 권장됩니다. 데이터 엔지니어와 업무 사용자가 그래프를 함께 보면서 변환과 릴리스 절차를 논의할 수 있고, 자료형 검사와 데이터 검증 조건을 작성 과정에 적용할 수 있습니다.
Pipeline Builder가 제공하지 않는 전문 로직에는 Code Repositories를 사용합니다. 외부 API 호출, 사용자 지정 라이브러리와 복잡한 코드 로직이 대표적인 경우입니다. 코드 변환의 출력은 Pipeline Builder의 앞, 뒤 또는 중간 단계에 연결할 수 있습니다. 전체 파이프라인의 스케줄과 상태 검사는 작성 도구와 관계없이 Data Lineage에서 구성할 수 있습니다.
작성 인터페이스
| 항목 | Pipeline Builder | Code Repositories |
|---|---|---|
| 권장 용도 | 조직의 운영 파이프라인과 조직 간 협업 파이프라인 구성 및 관리 | 파이프라인에 추가할 전문적인 코드 기반 변환 |
| 인터페이스 | 그래프와 폼 | 웹 IDE와 Git 저장소 |
| 언어 | 코드 작성 없이 사용 가능 | Python, SQL, Java, Mesa |
| 재사용 | 전체 파이프라인이나 단계를 복사하여 재사용 | 유틸리티 함수와 라이브러리 공유, 코드 복사 |
| 자료형 검사 | 강한 자료형을 사용하며 관련 오류를 작성 중에 표시 | 코드 검사와 빌드 과정에서 오류를 확인 |
| 매개변수 | 파이프라인 전반에서 사용할 영속적인 사용자 정의 매개변수 | 저장소의 코드 상수 등으로 정의 |
파이프라인 기능
| 항목 | Pipeline Builder | Code Repositories |
|---|---|---|
| 배치 | 지원 | 지원 |
| 스트리밍 | 지원 | 고급 사용자를 위한 지원 |
| 파일 기반 변환 | 지원 | 지원 |
| 증분 계산 | 지원 | 지원 |
| 파일시스템 및 외부 API 직접 접근 코드 | 미지원 | 지원 |
파일 기반 변환 노드를 사용하는 것과 임의의 파일시스템 및 외부 API 코드를 실행하는 것은 다른 기능입니다. 또한 자료형 오류를 작성 중에 찾을 수 있어도 운영 시의 입력 데이터, 권한 또는 연산 실패까지 모두 미리 판별하는 것은 아닙니다.
미리보기와 테스트
| 항목 | Pipeline Builder | Code Repositories |
|---|---|---|
| 미리보기 입력 범위 | 전체 입력을 사용할 수 있으며 별도 샘플링 전략도 지원 | 데이터 샘플 기반 |
| 실행 시점 | 기본적으로 자동 갱신하며 확인 후 실행하도록 설정 가능 | 요청 시 실행 |
| 중간 결과 | 각 변환 단계에서 확인 | 디버그 모드에서 지정한 지점의 중간 데이터프레임과 변수 확인 |
| 디버깅 | 자료형에 따른 작성 중 오류 표시 | 디버거와 REPL 지원 |
| 단위 테스트 | 지원 | 고급 사용자를 위한 지원 |
Pipeline Builder의 미리보기 표는 기본적으로 최대 500행을 처리하여 보여 줍니다. 필터, 조인이나 중복 제거는 500행의 결과를 만들기 위해 더 많은 입력을 읽을 수 있습니다. 입력 샘플링을 설정하면 행 수와 통계도 그 샘플을 기준으로 계산합니다. 샘플링 전략은 미리보기에만 적용되며 실제 빌드에는 영향을 주지 않습니다.
따라서 전체 입력을 사용하는 미리보기와 전체 빌드 결과를 화면에 모두 표시하는 것은 같은 의미가 아닙니다. 운영 승인에는 실제 출력 검증을 포함합니다.
관리와 릴리스
| 항목 | Pipeline Builder | Code Repositories |
|---|---|---|
| 데이터 검증 조건 | 지원 | 지원 |
| 스케줄 | 지원 | 지원 |
| 사용자 지정 라이브러리 게시 | 개발 중인 범용 게시 기능과 파이프라인 내부 재사용 함수를 구분 | 지원 |
| 버전 관리 | 코드 및 노코드 사용자 협업을 위한 버전 워크플로 | 전체 Git 워크플로 |
| 빌드 메모리 관리 | 승인된 프로필 또는 사용자 지정 연산 프로필 | 코드 기반 구성 |
| 보안 표지 관리 | 지원 | 지원 |
Pipeline Builder의 Custom Expressions와 Custom Transform Path는 반복되는 로직을 파이프라인 안에서 한곳에 정의하는 기능입니다. 여러 저장소가 설치하는 범용 코드 라이브러리 게시와는 범위가 다릅니다. 데이터 검증 조건에는 필요한 품질 기준과 실패 시 동작을 정하여 적용합니다.