Iceberg 카탈로그, 저장소와 암호화

Iceberg의 카탈로그와 실제 파일 저장소는 서로 다른 구성 요소입니다. 관리형 테이블은 Foundry 카탈로그가 관리하고, 가상 테이블은 외부 카탈로그가 외부 파일을 관리합니다.

외부 카탈로그에는 Glue, Horizon, Polaris, Unity 같은 구현을 사용할 수 있습니다. 관리형 테이블도 프로젝트 또는 이름 공간마다 저장 위치를 달리하여 Foundry 관리 저장소와 BYOB를 함께 사용할 수 있습니다.

그림의 실선은 테이블과 카탈로그 및 저장소의 직접적인 관계를 나타냅니다. 점선은 외부 저장소와 Foundry 테이블 사이에서 파일을 복사하지 않는 관계를 나타냅니다.

클라우드별 저장과 CSE

관리형 Iceberg는 AWS, Azure와 GCP 저장소를 지원합니다. 서버 측 암호화(SSE)는 모든 경우에 필수입니다. 클라이언트 측 암호화(CSE)의 조건은 다음과 같습니다.

온프레미스 등 이 조합에 없는 저장 구성은 Palantir 지원과 지원 범위를 확인합니다.

서버 측 암호화

SSE는 저장소에서 보관하는 데이터를 암호화합니다. Foundry 관리 저장소에서는 Palantir가 적용하며, 고객 버킷에서는 고객 관리자가 해당 버킷의 SSE를 활성화하고 유지해야 합니다. CSE를 쓰더라도 SSE 요구는 없어지지 않습니다.

클라이언트 측 암호화

Iceberg table encryption은 데이터를 저장소에 기록하기 전에 Foundry 안에서 암호화하여 SSE 위에 한 겹을 더합니다. Control Panel에서 저장 구성에 맞게 설정합니다.

이 기능은 아직 모든 Foundry 기능이나 외부 엔진 및 도구에서 지원되지 않습니다. 암호화를 켜기 전에 사용하는 클라이언트와 워크플로의 호환성을 확인합니다. CSE는 Iceberg v3 기능이므로 형식 버전 선택에도 영향을 줍니다.

기본값과 프로젝트별 설정

저장 위치와 CSE는 각각 설정할 수 있습니다. 플랫폼 인스턴스의 기본값을 정하고 특정 프로젝트 또는 이름 공간에 재정의합니다. 기존 테이블이 자동으로 다른 버킷으로 이동하거나 다시 암호화되지는 않으며 새 테이블에 적용됩니다.

고객 버킷은 BYOB 준비에서 소스와 권한을 구성한 뒤 Control Panel의 저장 위치로 추가합니다. 관리형 테이블에는 Foundry가 제공하는 유지보수 설정 화면을 사용할 수 있으며, 전체 지원 차이는 데이터셋과의 비교에 있습니다.