LLM 평가 모음 구성
Evaluation suite는 Use LLM 노드에 테스트 데이터를 넣고 하나 이상의 평가기로 결과를 비교합니다. 여러 평가를 모음으로 관리하고 운영 배포 전에 격리된 테스트 환경에서 실행할 수 있습니다.
평가 생성
오른쪽 도구 모음 맨 아래의 평가 모음 아이콘을 선택합니다.
Evaluation suites에서 기존 평가를 선택하거나 오른쪽 위 + New를 누릅니다. 그래프의 Use LLM 노드를 고르고 Start를 선택합니다.
설정 화면에서 테스트 데이터, 평가기와 결과 데이터셋을 지정합니다.
테스트 데이터
입력에는 Use LLM 노드가 사용할 열들이 모두 있어야 합니다. 기대 출력과 비교하는 평가기를 사용하는 경우에는 기대값 열도 포함합니다.
기존 Foundry 데이터셋은 Testing data > + Add 또는 입력 노드의 Select로 가져옵니다. 직접 입력하려면 입력 노드의 Enter를 선택합니다.
오른쪽 위의 이름 필드에 평가 이름을 지정합니다.
평가기 추가
Evaluators 옆 +에서 하나 이상의 평가기를 선택합니다.
예를 들어 Exact string match는 Actual value와 Expected value 열을 비교하고 Passing condition에 따라 Boolean 결과를 반환합니다. Match case와 Trim whitespace를 선택적으로 설정할 수 있습니다. 구성을 적용한 뒤 Close로 돌아갑니다.
지원 평가기
| 평가기 | 비교 계약 |
|---|---|
| Exact string match | 문자열의 정확한 일치입니다. 기본값은 대소문자를 구분하고 공백도 비교합니다. 관련 옵션을 조정할 수 있습니다. |
| Integer range | 실제 정수가 기대 범위 안에 있는지 검사합니다. 정수만 지원합니다. |
| Exact numeric match | 두 숫자의 정확한 일치를 검사합니다. integer, long, float, double, short를 지원합니다. |
| Exact string array match | 두 문자열 배열의 요소를 비교합니다. 기본값은 순서와 대소문자를 구분하고 공백도 비교합니다. 옵션을 조정할 수 있습니다. |
| Exact numeric array match | 두 수치 배열을 비교합니다. integer, long, float, double, short를 지원하고 기본적으로 순서를 구분합니다. |
| Exact temporal match | Date 또는 Timestamp 값의 정확한 일치를 검사합니다. |
| Generic exact match | 자료형별 일반 동등성을 적용합니다. 구체적인 유형 변환과 컬렉션 비교 규칙은 아래를 따릅니다. |
| Floating-point range | 실제 숫자가 기대 범위 안에 있는지 검사합니다. 매개변수에는 모든 수치 유형을 지원합니다. |
| Temporal range | 실제 시각이 기대 범위 안에 있는지 검사합니다. Date와 Timestamp만 지원합니다. |
| Levenshtein distance | 한 문자열을 다른 문자열로 바꾸는 데 필요한 한 글자 삽입, 삭제 또는 치환의 최소 횟수를 계산합니다. |
| String length | 실제 문자열 길이가 기대 범위 안에 있는지 검사합니다. |
| Keyword checker | 실제 텍스트에 지정한 키워드가 있는지 확인합니다. |
| Regex match | 실제 문자열이 지정한 정규식과 맞는지 검사합니다. |
| LLM-as-a-judge | LLM으로 사용자가 정의한 조건을 평가하여 만족하면 true, 아니면 false를 반환합니다. |
Generic exact match는 수치 유형을 변환하여 비교하므로 같은 값의 Integer와 Double이 일치할 수 있습니다. Date와 Timestamp도 유형을 맞춰 비교합니다.
객체와 객체 집합은 참조로, struct와 map은 순서 없는 키-값 쌍으로, list는 순서 있는 요소로 비교합니다. 모델은 식별자와 매개변수로 비교합니다. 해당 자료형 전용 평가기가 있으면 더 세밀한 옵션과 자료형 안전성을 제공하므로 전용 평가기를 우선 사용합니다.
LLM-as-a-judge의 실제 값에는 object locator, object RID, object set과 model 같은 참조 유형을 사용할 수 없습니다. 그 밖의 유형을 받을 수 있으며, 명확하고 검증 가능한 주장으로 작성한 condition과 평가에 사용할 수 있는 모델이 필요합니다.
결과 저장과 실행
Evaluation suite output에서 기존 데이터셋을 선택하거나 새 데이터셋을 만들어 평가 출력을 저장합니다.
실행하려면 파이프라인의 Edit 권한이 있어야 합니다. 설정 후 오른쪽 위 Run evaluation suite를 선택합니다.
진행 상황은 Open build report에서 확인합니다.
완료 후 아래쪽 Evaluation results에서 결과 미리보기를 봅니다. 각 평가기의 출력과 행별 통과 여부를 확인할 수 있습니다.
개별 프롬프트를 소수 사례로 빠르게 수정할 때는 Trial run을 사용하고, 테스트 데이터와 평가 조건을 함께 관리할 때는 평가 모음을 사용합니다.