평가 실행 결과 분석

AIP Evals 앱, Logic 또는 Chatbot Studio의 Evals 사이드바에서 결과를 확인합니다. 평가 함수에 통과 기준을 구성했다면 사례별 Passed 또는 Failed와 전체 통과 비율이 표시됩니다.

개별 사례 디버거

AIP Evals에서는 Results에서 실행을 고르고 Test cases로 이동합니다. 사례 행에 마우스를 올린 뒤 오른쪽 Open을 선택합니다. Logic 또는 Chatbot Studio의 결과 대화상자에서는 사례 카드의 Debugger를 선택합니다.

디버거에서 대상 함수의 입력, 출력, 실행 추적과 오류를 확인합니다. TypeScript와 Python 함수에는 실행 코드의 구문 강조 미리보기가 있고 Logic 함수는 기본 Logic 디버거로 단계를 따라갈 수 있습니다. 평가 함수에서는 기대값과 실제값, 입출력을 함께 봅니다.

평가 함수의 진단 출력

일부 내장 평가 함수와 사용자 정의 함수는 Debug outputs를 제공합니다. 예를 들어 LLM-as-a-judge는 판정 이유를 표시합니다. 사용자 정의 함수가 지표와 함께 반환한 문자열도 여기에 나타나 중간값과 진단 정보를 제공할 수 있습니다.

Logic으로 만든 평가 함수는 자체 Logic 디버거까지 조사할 수 있습니다. 예시 화면에서는 최소 통과 점수가 9인데 결과가 8이라 실패했습니다. 모델 평가자가 응답을 감싼 따옴표 때문에 8점을 주었다는 사실을 확인하면 해당 출력 형식 지시를 수정하고 다시 비교할 수 있습니다.

여러 함수와 실패 패턴 비교

여러 대상을 구성한 모음은 같은 사례에서 서로 다른 함수 구현의 실행 결과를 선택하여 비교할 수 있습니다.

실패 패턴과 프롬프트 개선안을 조사하려면 Evals의 Results에서 실패 사례가 있는 실행 하나를 선택하고 Test cases > Analyze with AI FDE를 누릅니다. Logic에서는 결과 대화상자의 같은 버튼을 선택합니다. 새 탭의 AI FDE에 해당 실행 결과 문맥이 전달됩니다. 제안한 변경은 같은 평가 사례로 다시 비교합니다.