Iceberg 테이블 유지보수
Foundry Iceberg 테이블의 Maintenance 탭에서 파일 배치 최적화와 이력 및 고아 파일 정리를 구성합니다. 이 화면은 Foundry가 관리하는 Iceberg 테이블에 제공됩니다. Dataset Preview에서 테이블을 열고 Maintenance를 선택합니다.
화면의 구성
| 패널 | 내용 |
|---|---|
| Jobs | 유지보수 실행의 시간순 목록입니다. 상태와 시작 및 종료 시각을 확인하고 Builds 보고서를 열 수 있습니다. |
| Tasks | 이 테이블에 구성한 유지보수 작업과 연결된 일정을 보여 줍니다. |
| Configuration panel | 작업을 만들거나 편집할 때 열립니다. 프로시저, 매개변수와 일정을 설정합니다. |
작업 추가
Add task를 선택합니다.- 설정 패널의
Procedure에서 작업을 고릅니다. - 필요한 매개변수를 기본값에서 변경합니다.
- 예약하려면
Schedule information을 켜고 cron 트리거를 구성합니다. Add task로 저장합니다.
저장한 작업은 Tasks에 표시됩니다. 작업을 선택하여 필드와 일정을 수정할 수 있습니다. Delete task는 해당 작업과 연결된 일정도 삭제합니다.
제공하는 작업
| 유형 | 용도 |
|---|---|
Rewrite data files | 데이터 파일을 재작성하여 배치와 크기를 최적화합니다. 컴팩션에 사용합니다. |
Rewrite manifests | manifest 구성을 재작성합니다. |
Expire snapshots | 보존 조건 밖의 스냅샷을 메타데이터에서 만료시킵니다. |
Remove orphan files | 더 이상 참조하지 않는 파일을 삭제 조건에 따라 정리합니다. |
Custom SQL | Iceberg 프로시저 또는 DML을 직접 실행합니다. |
작업마다 매개변수와 기본값이 다르므로 설정 패널에서 해당 프로시저의 항목을 확인합니다. 권한에서도 폼 기반 작업, Custom SQL 및 논리 데이터 변경 SQL의 작성 권한이 다르게 누적됩니다. Custom SQL 권한만 있다고 다른 기본 작성 권한이 생기는 것은 아닙니다.
만료와 실행 충돌의 영향
만료한 스냅샷은 복원할 수 없습니다. 해당 스냅샷으로 롤백하거나 시간 여행을 할 수 없고, 이전 상태를 필요로 하는 증분 소비자가 영향을 받을 수 있습니다. 만료와 고아 파일 제거의 물리 삭제 지연 및 재해 복구 조건은 보존을 따릅니다.
컴팩션 같은 유지보수는 일반 파이프라인 작업과 동시에 실행될 수 있습니다. 같은 테이블 갱신과 충돌하면 파이프라인의 커밋이 실패하여 작업을 재계산할 수 있으므로, 트랜잭션 동작을 고려하여 일정을 정합니다.