평가 모음 실행
Logic의 Evals 사이드바나 AIP Evals 앱에서 전체 모음 또는 개별 사례를 실행할 수 있습니다. 전체 실행은 Run evaluation suite를 선택합니다. Logic에 미저장 변경이 있으면 Save and run으로 표시됩니다. Logic 사이드바의 View나 파일시스템에서 모음을 열어 앱 오른쪽 위 실행 버튼을 사용할 수도 있습니다.
대상과 입력 매핑
실행 버튼 옆 톱니바퀴로 구성을 엽니다. Logic 함수는 마지막 저장 버전이 기본이며 게시 버전도 선택할 수 있습니다. Logic 외의 함수는 게시 버전을 사용합니다. 모음의 열을 대상 함수 입력에 자료형이 맞게 매핑합니다. 열 이름과 입력 이름은 같지 않아도 됩니다.
여러 대상이 있는 모음은 Test multiple functions를 선택하고 포함할 대상을 고릅니다. 다중 대상 모드에서는 실험 구성을 사용할 수 없습니다.
실행 권한과 보존
| 실행 모드 | 접근 및 결과 조건 |
|---|---|
| User-scoped execution | 기본값입니다. 시작한 사용자의 권한으로 실행하고 결과는 그 사용자에게만 보입니다. 24시간 뒤 삭제되며 결과 데이터셋에는 저장되지 않습니다. |
| Project-scoped execution | 함수와 평가 함수가 사용하는 리소스를 같은 프로젝트에 가져와야 합니다. 프로젝트 접근 권한이 있는 사용자 모두 결과를 볼 수 있으며 결과는 기한 없이 보존됩니다. 결과 데이터셋을 구성하면 기록됩니다. |
프로젝트 권한 실행은 베타이며 모든 플랫폼 인스턴스에 제공되지 않을 수 있습니다. 문제가 있으면 사용자 권한 실행을 사용해 볼 수 있지만 결과 공개 범위와 보존 조건도 달라진다는 점을 고려합니다.
반복과 병렬 실행
사례별 반복 횟수를 지정할 수 있습니다. LLM 기반 함수는 비결정성을 살펴보기 위해 최소 세 번 실행하는 것이 권장됩니다. 각 반복의 결과를 집계합니다. ROUGE 같은 숫자 지표의 변동이 크면 사례와 평가 기준 자체가 충분히 의미 있는지 검토합니다.
기본 병렬 사례 수는 10입니다. 처리량 한도에 걸리면 병렬 실행 수를 줄일 수 있습니다. 자동 기록되는 브랜치, 버전, 모델 외에 키-값 형태의 사용자 메타데이터를 넣어 실행 이력을 구분할 수 있습니다.
결과와 비교
완료 후 Most recent result 카드에서 집계 지표와 사례별 결과를 엽니다. 각 지표의 통과 여부는 구성한 불리언 조건 또는 숫자 방향 및 임계값을 따릅니다. 사례에 마우스를 올리고 디버거 버튼을 누르면 함수와 평가 함수의 실행 단계를 조사합니다.
Click to compare another run은 두 실행을 나란히 보여 줍니다. 기본으로 켜진 View diff는 출력 차이를 강조합니다.
개별 사례는 Logic 사이드바의 이름 옆 재생 아이콘으로 실행합니다. 즉시 디버거가 열리고 사례는 실행됨으로 표시되며, 구성된 목표에 따른 지표 통과 또는 실패도 표시됩니다.