파이프라인의 상태 검사
상태 검사(Health check)는 파이프라인이 계속 신뢰할 수 있는 데이터를 제공하는지 평가합니다. 외부 데이터를 수집하고 변환한 뒤 스케줄로 정기 실행하더라도, 실행 성공과 데이터의 최신 상태는 각각 확인해야 합니다. 상태 검사는 파이프라인 유지보수 과정에서 데이터 품질과 기대한 구조가 시간에 따라 유지되는지 확인하는 데 사용합니다.
검사 수준 선택
| 검사 유형 | 확인하는 내용 |
|---|---|
| 실행 작업 수준 검사 | 출력 데이터셋에 해당하는 실행 작업이 성공적으로 완료되는지 확인합니다. |
| 빌드 수준 검사 | 빌드가 성공하고 기대한 소요 시간 안에 완료되는지 확인합니다. |
| 최신성 검사 | 데이터가 계속 갱신되어 최신 상태로 유지되는지 확인합니다. |
예를 들어 실행 작업이 성공하더라도 스케줄이 멈춰 새 실행이 발생하지 않으면 데이터가 오래된 상태일 수 있습니다. 실행 성공을 확인하는 검사와 최신성을 확인하는 검사는 서로 다른 조건을 다룹니다.
운영에 적용
Data Health에서 검사를 정의하고 관리합니다. 파이프라인 담당자는 입력과 출력의 특성, 기대한 갱신 주기와 실행 시간에 맞춰 검사 조건을 정합니다. 일회성 미리보기로 데이터를 확인한 뒤에도 이러한 검사를 유지하여 이후 입력 변경이나 실행 문제를 감지합니다.
검사 결과를 모니터링 뷰와 알림에 연결하면 여러 파이프라인의 상태를 지속적으로 살펴볼 수 있습니다. 실패한 검사의 종류에 따라 실행 로그를 조사할지, 빌드 시간을 분석할지, 데이터 갱신 경로를 확인할지 구분합니다.