성능 모니터링과 최적화
성능 모니터링은 워크플로의 지연을 조사하고 사용자 경험, 연산 비용, 신뢰성과 확장 계획을 관리하는 작업입니다. 추적 기록, 실행 지표와 상세 로그를 함께 살펴보면 지연을 일으키는 작업을 찾을 수 있습니다.
추적 기록에서 찾을 패턴
| 패턴 | 조사할 내용 |
|---|---|
| 오래 걸리는 추적 구간 | 다른 작업보다 현저히 긴 작업이 무엇인지 |
| 순차 실행 병목 | 서로 독립적인 작업이 불필요하게 순서대로 실행되는지 |
| 반복 작업 | 중복 호출이나 합칠 수 있는 작업이 있는지 |
| 모델 지연 | LLM 응답 시간이 업무의 시간 요구에 적합한지 |
다음 화면은 모델 호출이 묶음 처리되지 않고 반복되는 형태를 추적 기록에서 확인하는 예입니다.
작업의 의존 관계와 결과의 품질 요구를 확인한 뒤 개선 방법을 선택합니다.
개선 방법
- 서로 독립적인 작업을 동시에 실행할 수 있도록 구성합니다. 앞 작업의 결과가 필요한 단계는 순차적으로 실행합니다.
- 응답 시간과 결과 품질 사이의 균형에 맞는 모델을 선택합니다.
- 비슷한 작업을 묶어서 처리하여 반복 호출의 부가 비용을 줄입니다.
- 한 작업의 실패가 다른 작업으로 연쇄 전파되지 않도록 오류 처리를 구성합니다.
개선 후에는 같은 목적의 실행 지표와 추적 기록을 다시 검토하여 실행 시간, 비용, 실패율과 결과 품질에 미친 영향을 확인합니다.