평가 실험과 매개변수 조합 비교

실험(Experiment)은 매개변수별 후보값의 모든 조합을 그리드 검색(Grid search)으로 실행합니다. 조합마다 별도 평가 실행이 만들어지며 모델, 프롬프트, 성능과 비용을 비교할 수 있습니다. Logic 외의 함수에도 적용할 수 있습니다.

함수 준비

가상의 기사 요약 함수에서 모델과 추가 프롬프트 문맥을 비교한다고 가정합니다. 두 항목을 함수 입력으로 추가하고 실제 처리에 사용합니다. extraPromptContext를 기존 프롬프트에 덧붙이도록 구성할 수 있습니다.

모델 입력은 Required에서 Optional로 바꾸는 것이 권장됩니다. 각 Use LLM 블록의 모델 선택기에서 Registered 탭의 모델 변수를 선택해야 실제 실행에 반영됩니다.

실험 구성과 실행

Run configuration에서 Experiments를 켭니다. 실험 이름을 정하고 Experiment parameters에 비교할 매개변수와 여러 후보값을 추가합니다. 이 값은 사례별 기존 입력을 덮어씁니다. 아래에 표시되는 총 실행 수와 조합 미리보기를 확인합니다. 다중 대상 함수 실행 모드에서는 실험을 구성할 수 없습니다.

대화상자를 닫고 Run experiment를 선택합니다. 완료 후 사이드 패널 아래 Results로 AIP Evals를 엽니다. Logic의 Most recent run 카드는 조합 중 마지막 실행만 표시하므로 전체 결과 비교에는 Evals를 사용합니다.

실행별 비교

Results > Runs에는 일반 실행과 실험 실행이 함께 표시됩니다. Logic에서 Results로 이동하면 방금 실행한 실험으로 필터링됩니다. Group by에서 모델 같은 열을 선택하면 그룹별 집계 지표를 비교할 수 있습니다. 머리글 맨 오른쪽 열 아이콘으로 표시할 열을 정합니다.

사례와 반복 비교

Runs에서 최대 네 실행을 선택하고 View test cases 또는 Test cases로 이동합니다. 선택 실행에 마우스를 올리거나 표를 보면 사용한 매개변수 값을 확인할 수 있습니다.

Group test cases는 여러 실행의 같은 사례를 한 행으로 묶습니다. Group iterations는 반복별 행을 하나의 선택기로 접습니다. 입력이나 함수 출력을 숨기고 지표 열만 표시하여 비교할 수도 있습니다.

행에 마우스를 올려 Open을 선택하면 함수 및 평가 함수의 입력, 출력과 로그가 있는 디버거가 열립니다. 비교 실행을 별도 행으로 표시했다면 선택한 행의 실행만 디버거에 표시됩니다.