Logic 함수의 평가 모음 시작하기
Logic의 Preview는 한 입력을 확인하기에 적합합니다. 여러 입력에서 동작을 비교하려면 평가 모음(Evaluation suite)을 구성합니다. 예를 들어 가상의 식당 리뷰 분류 함수가 리뷰 문장을 positive 또는 negative로 분류하는지 평가할 수 있습니다.
모음과 사례 만들기
Logic 함수를 저장한 다음 Preview의 Add as test case를 선택하면 새 모음과 첫 사례를 함께 만듭니다. Evals 패널의 Set up tests manually는 빈 모음을 만들고, 사용 가능한 경우 Generate evals는 사례와 평가 함수를 생성합니다. 자동 생성 제한은 View limitations에서 확인합니다. 지원하지 않는 함수는 생성 버튼이 비활성화되며 이유가 표시됩니다.
Edit tests에서 사례별 입력을 추가하거나 수정한 뒤 저장합니다. Add as test case와 Generate evals는 입력을 바탕으로 설명적인 이름도 제안합니다. 이름 옆 보라색 AIP 별 아이콘으로 다시 생성할 수 있습니다. 예를 들어 Negative Review On Food Quality는 Test case 1보다 사례의 조건을 잘 드러냅니다.
실행과 평가 함수
Evals 패널의 Run evaluation suite는 모든 사례를 실행합니다. 완료 후 Most recent run 카드를 선택하여 결과를 봅니다.
수동 생성이나 Preview에서 만든 모음은 함수 반환값만 표시하며 집계 성능 지표는 없습니다. 분류 예시에서는 + Add > Exact string match > Add로 평가 함수를 추가합니다. 함수 출력을 실제 값에 매핑하고 기대값용 매개변수를 만들면 사례 표에 기대 분류 열이 생깁니다.
불리언 지표는 true와 false 중 통과값을 정합니다. 숫자는 높을수록 좋은지 낮을수록 좋은지와 필요한 임계값을 정합니다. 이 목표로 각 사례의 passed 또는 failed 상태를 판단합니다.
저장하고 다시 실행하면 집계 지표와 사례별 판정을 확인할 수 있습니다. 일부 입력만 조사할 때는 사이드바의 사례 옆 재생 아이콘으로 개별 실행합니다.