Data Connection에서 Iceberg로 동기화
지원되는 외부 소스를 Foundry 관리형 Iceberg 테이블로 직접 수집할 수 있습니다. 소스 Overview에서 새 Iceberg sync를 만듭니다.
지원 소스와 워커
Iceberg 동기화는 Foundry 워커에서만 지원합니다. 사설망 원천에는 Foundry 워커에 에이전트 프록시 외부 통신 정책을 연결하는 방식이 권장됩니다. 에이전트 워커에서 수집 작업을 실행하는 방식과 구분합니다.
쓰기 모드
비증분 및 증분 배치 수집을 지원합니다. 목적지 쓰기는 다음과 같이 선택합니다.
| 모드 | 행 처리 |
|---|---|
Overwrite | 기존 전체 행을 새 데이터로 교체합니다. |
Append | 기존 데이터를 유지하고 새 행을 추가합니다. |
Update | 기본 키 식별자 열이 일치하는 행을 갱신하고, 처음 보는 식별자의 행은 삽입합니다. 영향을 받는 데이터 파일을 덮어씁니다. |
Append 쓰기는 append 스냅샷을 만듭니다. 기존 데이터를 바꾸는 Overwrite와 Update는 overwrite 스냅샷에 해당합니다. 빈 새 테이블의 첫 쓰기는 전체 교체 의도여도 append로 기록될 수 있으므로, 쓰기 모드 이름과 실제 스냅샷 유형을 구분합니다.
커서 바인딩을 넣은 사용자 지정 SQL로 증분 범위를 제어할 수도 있습니다. JDBC 증분 수집의 단일 ?, 초기값과 증가 열 조건을 적용합니다.
스키마 변경
Iceberg sync의 스키마 진화는 지원하지 않습니다. 원천 테이블의 스키마를 바꾼 뒤 같은 동기화를 다시 실행하면 실패합니다. 변경한 스키마로 새 동기화를 만드는 방법을 검토합니다.
이 제약은 Python 변환의 비증분 table replace가 스키마를 바꿀 수 있다는 사실과 별개입니다. 수집 경로의 스키마 지원을 변환 쓰기의 지원 범위로 일반화하지 않습니다.