Iceberg 스냅샷과 이력 해석

Iceberg 스냅샷은 특정 커밋 시점의 테이블을 구성하는 파일 집합을 기록합니다. 데이터 자체를 복제하여 저장하는 객체는 아니며 메타데이터에서 데이터 파일을 참조합니다. 데이터 쓰기는 새 스냅샷을 만듭니다.

스키마, 식별자 열 또는 파티션만 바꾸는 메타데이터 작업은 스냅샷을 만들지 않습니다. 새 스키마 버전은 다음 스냅샷 생성 작업에서 Snapshots 화면에 나타납니다.

Snapshots와 History

Dataset Preview의 Snapshots 탭은 Iceberg 스냅샷 이력을 보여 줍니다. History는 해당 테이블에 실행한 Foundry 작업을 보여 주므로 두 화면은 같은 목록이 아닙니다.

Iceberg 스냅샷 이력 화면

현재 메타데이터 파일에 남아 있는 스냅샷만 표시됩니다. 만료한 스냅샷은 목록에서 사라지고 일반 롤백이나 시간 여행에 사용할 수 없습니다.

가로축은 커밋 시각이며 점 하나가 스냅샷 하나입니다. 선택한 시간 범위와 브랜치의 스냅샷 통계를 보여 줍니다.

지표	Iceberg summary 필드	의미
Total size	`total-files-size`	살아 있는 데이터 및 삭제 파일의 바이트 합계입니다. 1024 기반 IEC 단위로 표시하며 메타데이터와 고아 파일은 제외합니다.
Record count	`total-records`	살아 있는 데이터 파일에 물리적으로 담긴 행 수입니다. 이전 수에 추가 파일의 행을 더하고 제거 파일의 행을 뺍니다. 위치 또는 동등성 삭제로 가려진 행은 여전히 포함될 수 있어 실제 조회 행 수보다 클 수 있습니다.
File count	`total-data-files`	데이터 파일 수입니다. 삭제 파일, 메타데이터와 고아 파일은 제외합니다.
Schema version	해당 스냅샷의 스키마	스냅샷에 연결된 스키마 버전입니다.

목록은 최신 스냅샷부터 표시합니다.

열	내용
Timestamp	커밋 시각입니다. Foundry 빌드에서 만든 경우 `View job`으로 작업을 엽니다.
Snapshot ID	메타데이터에 기록된 ID이며 선택하여 복사할 수 있습니다.
Type	Append, Overwrite, Replace 또는 Delete입니다.
Size, Records, Files	결과 테이블의 총량과 해당 스냅샷에서 추가 및 제거한 양입니다.
Schema	스키마 버전입니다. 새 버전을 도입한 스냅샷은 표시가 붙습니다.
Attribution	확인 가능한 경우 쓰기를 시작한 사용자 또는 그룹입니다.

스키마 버전을 선택하면 해당 스키마와 이전 버전 대비 변경을 확인합니다.

스키마 버전과 변경 내용

기존 파일을 바꾸거나 제거하지 않고 새 데이터 파일만 추가합니다. 빈 테이블의 첫 쓰기도 Append로 기록됩니다. 작성 의도가 전체 교체라도 비어 있는 테이블에는 제거할 파일이 없기 때문입니다.

데이터 파일을 추가하면서 기존 파일도 제거하여 논리 레코드 집합을 바꿉니다. 부분 덮어쓰기와 비어 있지 않은 테이블의 전체 재작성 모두 포함합니다. Data Connection의 Overwrite 및 Update 동기화도 이 유형을 만들 수 있습니다.

데이터 파일을 제거하거나 행 삭제를 나타내는 delete file을 추가하여 논리적으로 데이터를 삭제합니다.

논리 데이터는 바꾸지 않고 데이터 파일을 재작성합니다. 컴팩션이 대표적인 예입니다. 전체 테이블 내용을 교체하는 업무 동작과 이름이 비슷하지만 스냅샷 유형의 Replace는 내용 보존 재작성입니다.

스냅샷 만료는 되돌릴 수 없으며, 물리 파일 삭제와는 시점이 다릅니다. 보존 및 정리에서 참조 보호와 재해 복구 기간을 확인합니다.