Iceberg 연산 및 저장소 사용량
Iceberg 테이블 작업의 연산과 저장소 사용량은 Resource Management에서 확인합니다. 테이블 형식 자체가 별도의 고정 실행 비용을 정하는 것은 아니며 실제 작업을 수행한 Foundry 애플리케이션과 저장한 파일 범위에 따라 사용량이 집계됩니다.
| 사용량 | 집계 대상 | 단위 |
|---|---|---|
| Foundry compute | Foundry 애플리케이션의 테이블 읽기, 변환 및 쓰기 | compute-seconds |
| Foundry storage | 현재 메타데이터의 유지된 스냅샷들이 참조하는 데이터 파일과 삭제 파일 | gigabyte-months |
연산
Python 변환과 Pipeline Builder는 입력 읽기, 변환 로직과 출력 쓰기에 연산을 사용합니다. SQL 질의는 조회 및 Iceberg 출력 구성에, Data Connection은 원천 추출과 테이블 쓰기에 연산을 사용합니다.
할당한 vCPU와 메모리, 실행 시간, 처리 데이터 양과 연산 복잡도가 사용량에 영향을 줄 수 있습니다. 실제 애플리케이션의 실행을 기준으로 compute-seconds를 확인합니다.
관리 저장소의 집계
Foundry 관리 저장소에서는 현재 메타데이터가 참조하는 모든 데이터 파일과 삭제 파일의 크기를 집계합니다. main의 최신 스냅샷만 보는 것이 아니라 유지된 과거 스냅샷과 다른 브랜치 및 태그의 참조도 포함합니다.
다음 항목은 집계에 포함되지 않습니다.
- 테이블 메타데이터 JSON, manifest list와 manifest 같은 메타데이터 파일
- 어떤 스냅샷도 참조하지 않는 고아 파일
저장소 사용량은 시간에 따라 계산합니다. 예를 들어 100 GB를 한 달 전체 보관하면 100 gigabyte-months입니다. BYOB Iceberg 테이블의 저장소는 Foundry의 이 저장소 사용량으로 보고되지 않습니다. 이는 외부 클라우드 저장소 자체의 비용이 없다는 뜻은 아닙니다.
이력과 보고 크기
스냅샷 만료를 통해 유지할 이력을 줄이면 메타데이터가 참조하는 파일의 범위와 보고되는 저장소 사용량을 줄일 수 있습니다. 변경이 Resource Management에 나타나기까지 시간이 걸릴 수 있습니다.
스냅샷 만료는 되돌릴 수 없습니다. 저장소 사용량을 줄이기 전에 롤백과 증분 소비자가 필요한 이력을 확인합니다. 물리 파일 삭제는 재해 복구 기간 때문에 더 늦을 수 있으며, 보고되는 저장소 크기와 물리 삭제 시점은 구분합니다.