Ontology와 AIP 워크플로 관측하기
Ontology와 AIP의 운영 관측 기능은 함수, 액션, 자동화와 모델이 연결된 워크플로의 실행을 살펴보는 도구입니다. Workflow Lineage에서 지표, 실행 이력, 추적 기록과 로그를 함께 확인할 수 있습니다.
Workflow Lineage는 업무를 구성하는 리소스의 연결 관계를 그래프로 보여줍니다. 개발자와 업무 담당자는 같은 흐름에서 개별 실행의 실패 원인을 조사하거나 전체 워크플로의 성능을 검토할 수 있습니다.
목적에 맞는 도구 선택
| 목적 | 기능 |
|---|---|
| 성공과 실패의 추세, 느린 실행 확인 | 지표: 함수, 액션, AIP Logic의 성공·실패 건수와 P95 실행 시간 |
| 최근 실행 목록 확인 | 실행 이력: 함수, 액션, 자동화와 AIP Logic의 최근 30일 실행 |
| 호출 관계와 시간 분포 확인 | 분산 추적: 함수, 액션, 언어 모델, 자동화, 모델과 온톨로지 조회를 연결한 실행 흐름 |
| 입력·출력과 오류 상세 조사 | 서비스 로그와 디버깅: 사용자 정의 로그, 프롬프트, 토큰 사용량과 오류 정보 |
| 여러 실행에서 공통 오류 찾기 | 로그 검색: 메시지와 오류, 반복 패턴을 리소스와 실행에 걸쳐 검색 |
| 병목 발견과 개선 | 성능 모니터링과 최적화: 추적 기록과 지표를 이용한 실행 시간 분석 |
| 업무 화면에서 운영 상태 확인 | Workshop의 Observability Chart 위젯으로 함수, 액션, 연산 모듈의 시계열 지표를 표시 |
| 관측 데이터를 별도 분석 | 로그 내보내기: Foundry 스트리밍 데이터셋으로 로그 전달 |
실행 하나를 조사하는 순서
- Workflow Lineage에서 함수, 액션 또는 자동화 리소스를 선택합니다.
- Run history 탭에서 최근 실행을 확인합니다.
- 조사할 실행의 View log details를 선택합니다.
- 실행의 추적 기록과 서비스 로그를 확인합니다.
로그를 조회하려면 역할, 로그 접근 정책과 보안 표지 조건을 모두 충족해야 합니다.
플랫폼 전체의 운영 관리와 연결
이 관측 기능 자체는 플랫폼 인스턴스에서 AIP가 활성화되어 있지 않아도 사용할 수 있습니다. AIP 기능뿐 아니라 Ontology를 사용하는 워크플로의 상태를 살펴볼 때도 활용합니다.
성능과 신뢰성
함수와 모델에 관측 계측(Instrumentation)을 추가하여 운영 중의 동작을 기록할 수 있습니다. 함수 모니터링은 성능과 실패율에 관한 경보를 구성하고, 액션 지표와 액션 모니터링은 액션의 실행 패턴과 신뢰성을 관리하는 데 사용합니다.
리소스 사용량과 비용
Workflow Lineage의 AIP 사용량 색상 모드와 차트로 모델 요청과 토큰 사용량을 확인할 수 있습니다. AIP Logic의 연산 사용량과 AIP 토큰의 연산초 환산을 함께 확인하여 기능별 사용량과 비용을 분석합니다.
모델 결과의 품질
운영 지표는 실행이 성공했는지, 얼마나 오래 걸렸는지를 알려줍니다. 결과가 업무 목적에 적합한지는 별도로 평가해야 합니다. AIP Evals는 LLM 기반 기능의 결과를 체계적으로 평가하고 지속적으로 검토하는 데 사용합니다.