Lakehouse Iceberg REST 카탈로그

Google Cloud Lakehouse는 Google Cloud Storage 소스에 Iceberg 카탈로그로 구성합니다. 등록한 가상 테이블은 Iceberg 형식을 사용하고 Lakehouse 카탈로그의 테이블을 가리킵니다. Lakehouse라는 별도의 파일 형식으로 등록하지 않습니다.

지원 범위

가상 테이블, 수동 등록과 자동 등록을 일반 제공(GA)합니다. Code Repositories와 Pipeline Builder에서 Iceberg 테이블을 입력과 출력으로 사용할 수 있습니다. 증분 파이프라인은 APPEND만 지원하며 원천 시스템으로 연산을 위임하는 기능은 지원하지 않습니다.

인증과 네트워크 준비

GCS 가상 테이블에는 Foundry 워커와 JSON credentials, PKCS8 auth 또는 Workload Identity Federation(OIDC) 인증이 필요합니다. 인증 주체는 Lakehouse 카탈로그와 그 테이블의 데이터 및 메타데이터가 있는 GCS 버킷에 모두 접근할 수 있어야 합니다.

storage.googleapis.com, biglake.googleapis.com, www.googleapis.com의 443 포트를 허용합니다. JSON 또는 PKCS8 인증이면 oauth2.googleapis.com도 필요합니다. OIDC이면 sts.googleapis.com, iamcredentials.googleapis.com도 허용합니다.

카탈로그 구성

1. Data Connection에서 GCS 소스를 엽니다.
2. 소스 구성의 Additional settings에서 Catalog를 추가합니다.
3. Lakehouse Catalog를 선택하고 저장합니다.

버킷 이름이 카탈로그 ID로 사용됩니다. 개별 테이블 등록 시 이 카탈로그 ID를 바꿀 수 없습니다.

Lakehouse 카탈로그와 Foundry Iceberg 테이블의 BYOB 저장소에는 별도 소스를 사용해야 합니다. Lakehouse 소스에는 Catalog를 Lakehouse Catalog로 지정하고, BYOB 소스에는 Catalog를 지정하지 않습니다.

가상 테이블 등록

1. 구성한 GCS 소스의 Virtual tables에서 Create virtual table을 선택합니다.
2. Format을 Iceberg로 설정합니다.
3. Table name에 namespace.table_id 형식의 식별자를 넣습니다. analytics.orders는 예시입니다.
4. 읽기 전용 Catalog ID (bucket)이 소스의 버킷과 일치하는지 확인합니다.
5. Foundry 가상 테이블의 이름과 저장 폴더를 정하고 마법사를 완료합니다.

Foundry 리소스 이름은 카탈로그의 실제 테이블 이름을 변경하지 않습니다. 증분 읽기에는 Python Transforms의 current, added 모드를 사용할 수 있으며 추가 전용 제약을 유지합니다.