Iceberg로 데이터 파이프라인 만들기
Foundry 관리형 Iceberg 테이블은 Python 변환과 Pipeline Builder의 입력 및 출력으로 사용할 수 있습니다. 연산 엔진뿐 아니라 Foundry 입출력 API를 사용하는지, 네이티브 Iceberg API에 직접 접근하는지에 따라 지원 범위가 달라집니다.
작성 경로별 지원
| 작성 경로 | 비증분 | 추가 전용 증분 | Changelog 증분 | CSE |
|---|---|---|---|---|
| Python Spark, Foundry API | 지원 | 지원 | 지원 | 지원 |
| Python Spark, Iceberg Spark API | 지원 | 지원 | 지원 | 지원 |
| Python 단일 노드, Foundry API | 지원 | 지원 | 미지원 | 읽기/쓰기 지원. 이 경우 필터 푸시다운은 미지원 |
| Python 단일 노드, PyIceberg API | 지원 | 지원 | 미지원 | 미지원 |
| Pipeline Builder Standard Spark | 지원 | 지원 | 미지원 | 지원 |
| Pipeline Builder Faster | 지원 | 미지원 | 미지원 | 지원 |
SSE는 모든 관리형 테이블에 필수입니다. 마지막 열은 추가 계층인 클라이언트 측 암호화(CSE)에 대한 조건입니다. 일반 DataFrame 필터가 실행될 수 있다는 것과 그 필터를 저장소 읽기로 푸시다운할 수 있다는 것은 다릅니다. 형식 버전과 클라이언트 구현의 조건도 버전 참조를 따릅니다.
Python 작성
기본 API에서는 TableInput과 TableOutput 선언, 엔진별 런타임 핸들과 읽기 및 쓰기를 설명합니다. 입출력 예제는 Polars, DuckDB, pandas와 PySpark로 테이블을 만들거나 데이터셋과 교환하는 16개 예제를 제공합니다.
행 수준 편집, 파티션 쓰기와 스냅샷 조회에는 네이티브 API를 사용할 수 있습니다. 증분 처리는 읽기와 저장 전략을 먼저 선택하고 데코레이터 및 런타임을 구성합니다. 증분 코드 예제, CDC 파이프라인과 변경 로그 기술 설명은 필터를 벗어난 행의 삭제 및 키 유일성 조건을 다룹니다.
Pipeline Builder 작성
- Standard 또는 Faster 배치 파이프라인을 만듭니다.
Add Foundry data에서 기존 Iceberg 테이블을 선택합니다.- 필요한 변환을 추가하고 연결합니다.
- 출력 패널의
Add pipeline output을 선택합니다. Foundry Iceberg table을 고르고 출력 이름 및 위치를 설정합니다.- 미리본 뒤 파이프라인을 배포합니다.
증분 입력은 Standard Spark 파이프라인에서 Iceberg 입력의 계산 모드를 Incremental로 설정합니다. 이 경로의 증분 처리는 추가 전용이며 Changelog 모드와 같지 않습니다.
출력으로 Iceberg를 만드는 선택지는 프로젝트에 Iceberg 저장소가 구성되어 있을 때만 표시됩니다. 보이지 않으면 Control Panel 저장 설정을 확인합니다.
외부 원천을 직접 수집하려면 Data Connection 동기화를, 작업 공간에서 대화형으로 사용하려면 Jupyter를 사용할 수 있습니다.