스트림 상태와 알림
스트림 모니터링은 수집, 처리와 출력이 정상적으로 이어지는지 확인합니다. 파이프라인에서는 입력이 없는 동안에도 상태를 정기적으로 저장하는지 확인해야 합니다. 레코드 수 기반 모니터는 일정한 데이터 유입을 기대할 수 있는 스트림에 적용합니다. 이벤트가 불규칙하게 발생하는 스트림에서는 입력이 없는 상황 자체가 장애를 뜻하지 않을 수 있습니다.
모니터 생성
- Data Health를 엽니다.
- Monitoring Views에서 기존 모니터링 뷰를 선택하거나 새로 만듭니다.
- Manage Monitors 탭에서 Add new alert를 선택합니다.
- Add monitoring rules에서 리소스와 검사 규칙을 지정합니다.
수집 레코드 모니터
수집 모니터는 원천이 레코드를 보내고 Foundry가 수집 스트림의 실시간 뷰에 기록하는지 확인합니다.
- 리소스 유형으로 Streaming dataset을 선택합니다.
- 대상 수집 스트림을 추가하고 Next를 선택합니다.
- Ingest stream monitors 카드의 + Add를 선택합니다.
- Records ingested에서 5분 또는 30분 구간을 선택합니다.
- 임계값을 지정하고 Next를 선택한 뒤 Save monitoring rules로 저장합니다.
5분 구간과 임계값 0이면 지난 5분 동안 실시간 뷰에 기록한 레코드가 0개일 때 알림을 발생시킵니다. 30분 구간과 임계값 1000이면 지난 30분의 기록 수가 1,000개 이하일 때 발생합니다. 경계값도 포함하여 기준을 설정합니다.
파이프라인 모니터
생성 절차는 수집 모니터와 같지만 파이프라인에는 체크포인트와 처리 성능 지표가 추가됩니다.
| 지표 | 알림 조건 |
|---|---|
| Checkpoint Liveness | 지정한 시간 동안 체크포인트를 만들지 못했습니다. 운영 스트림의 성능 저하를 감지하는 데 권장됩니다. |
| Last Checkpoint Duration | 최근 체크포인트 소요 시간이 임계값을 초과했습니다. |
| Checkpoint Trigger Failures | 체크포인트 시작이 연속으로 실패했습니다. |
| Consecutive Checkpoint Failures | 체크포인트가 연속으로 실패했습니다. |
| Total Lag | 입력에 비해 처리하지 못하고 뒤처진 레코드 수가 지정한 수준에 도달했습니다. |
| Total Throughput | 체크포인트당 레코드 수가 설정한 하한보다 적거나 상한보다 많습니다. 상위 입력의 변화도 이 지표에 영향을 줍니다. |
| Utilization | 스트림에 할당한 용량의 사용률이 임계값을 초과했습니다. 용량은 스트리밍 프로필로 조정할 수 있습니다. |
출력 모니터
출력 모니터는 입력을 처리한 결과가 사용자용 Foundry 애플리케이션에 전달되는지 확인합니다. Beta 단계에서는 시계열과 시공간 관측 형식만 출력 모니터링을 지원합니다.
시계열
- 규칙 생성 화면에서 Time series sync를 선택합니다.
- 대상 동기화를 추가하고 Next를 선택합니다.
- monitors 카드의 + Add에서 Points written to Epoch를 선택합니다. 시계열 데이터베이스에 기록한 지점 수를 다루며
Points written to Time Series DB라는 표기도 사용합니다. - 5분 또는 30분 구간과 임계값을 지정합니다.
- Next에서 검토한 뒤 Save monitoring rules를 선택합니다.
5분에 0을 지정하면 기록이 없을 때, 30분에 1000을 지정하면 기록 수가 1,000개 이하일 때 알립니다.
시공간 관측
- 리소스 유형으로 Geotemporal observations를 선택합니다.
- 관측의 기반 데이터셋을 추가하고 Next를 선택합니다.
- monitors 카드의 + Add에서 Geotemporal observations sent를 선택합니다.
- 5분 또는 30분 구간과 임계값을 지정하고 저장합니다.
5분에 0이면 보낸 관측이 없을 때, 30분에 1000이면 보낸 관측이 1,000개 이하일 때 알립니다. 오류 데이터셋이 아니라 기반 관측 데이터셋에 모니터를 설정해야 합니다.
Geotemporal observations sent는 수집 계층에서 관측을 보냈다는 사실만 확인합니다. geotime 서비스가 해당 레코드를 최종 처리했다는 보장은 아닙니다.
지표 확인
모니터링 뷰의 Manage monitors에서 규칙 행을 선택하면 그 모니터의 지표를 확인합니다. 지표 화면은 대상 범위가 하나인 스트리밍 또는 시계열 모니터에서만 사용할 수 있습니다.
이메일과 PagerDuty 알림
Manage subscriptions에서 알림 구독을 구성합니다. 이메일 알림은 Add users to group에서 사용자를 검색해 추가하고 통지할 심각도를 선택합니다.
PagerDuty에서는 Create new PagerDuty integration을 선택하고 Integration Name을 지정합니다. PagerDuty에서 통합을 만든 뒤 그 키를 Integration Key에 입력하고 Severity를 선택합니다. 통합 키는 인증 정보로 취급합니다.
현재 발생한 알림은 모니터링 뷰의 Troubleshoot alerts 탭에서 확인합니다.