Modeling Objective의 자동 평가 구성
Modeling Objective는 제출한 모델에 대해 추론 및 지표 파이프라인을 자동 생성할 수 있습니다. 같은 평가 데이터와 명확한 지표로 현재 후보와 새 후보를 비교할 때 사용합니다. 모델 리소스 자체의 Evaluation 기록 API와는 별도로 목표의 데이터셋 파이프라인을 관리하는 방식입니다.
파이프라인 생성과 자동 빌드
목표 홈의 Configure evaluation dashboard 또는 기존 대시보드의 Edit evaluation configuration을 엽니다.
추론 파이프라인만 만들지, 추론과 지표 파이프라인을 함께 만들지 선택합니다. 선택한 종류의 데이터셋은 기존 제출물과 이후의 새 제출물에 대해 생성됩니다.
이어서 새 모델을 제출할 때 추론 또는 추론 및 지표를 자동 빌드할지 선택합니다. 자동 빌드는 새 제출 시점에 동작합니다. 기존 제출물은 파이프라인이 생겼더라도 대시보드의 Build evaluation으로 수동 실행해야 합니다. Save로 생성 및 실행 설정을 저장합니다.
평가 데이터셋
평가 데이터셋은 모델을 시험할 Foundry 데이터셋입니다. 추론 파이프라인 생성을 켜면 모델 제출물과 평가 데이터셋의 조합마다 추론 데이터셋 하나를 만듭니다. 검증 및 시험 자료, 운영 관측, 사용자 피드백, 주요 시험 사례나 가정 시나리오를 사용할 수 있으며 모델이 필요로 하는 입력 필드와 자료를 준비해야 합니다.
서로 다른 크기, 갱신 주기와 권한의 데이터를 별도 평가 데이터셋으로 관리하면 지표를 계산하는 주기 및 접근 범위를 구분할 수 있습니다. 모델, 평가 데이터, 평가 라이브러리와 지표는 각각 필요한 접근 권한이 있어야 보입니다.
Add evaluation dataset에서 다음을 지정합니다.
- 평가할 데이터셋
- 추론 데이터셋을 만들 폴더
- 지표 데이터셋을 만들 폴더
폴더는 기존 또는 새 폴더를 사용할 수 있고 평가 데이터셋마다 고유할 필요는 없습니다. 일반적으로 목표마다 출력 폴더 하나를 두는 것을 권장합니다.
평가 데이터셋과 목표는 추론 및 지표 출력 위치와 같은 프로젝트에 있거나 그 프로젝트에 참조로 추가되어 있어야 합니다. 이 자동 평가 경로는 단일 표 데이터셋 입력 모델에만 지원합니다. 외부 호스팅 모델은 목표의 자동 평가에서 지원하지 않습니다.
평가 라이브러리
추론과 지표를 함께 생성한다면 평가 라이브러리를 선택합니다. 라이브러리는 모델 평가기를 제공하는 게시된 Python 패키지입니다. 기본 이진 분류 및 회귀 평가기 또는 사용자 정의 평가기를 사용할 수 있습니다.
평가 라이브러리마다 각 추론 데이터셋에 대응하는 지표 데이터셋을 만듭니다. 같은 평가기는 모델 성능, 공정성이나 강건성 같은 지표를 여러 목표에서 재사용할 수 있습니다.
Select evaluation library에서 패키지를 고르고 필요한 필드를 지정합니다. 열 입력은 구성한 평가 데이터셋 중 어느 하나에 있는 열을 제안합니다. 모델이 새로 생성할 예측, probability_1 같은 확률 또는 신뢰도 열이 목록에 없으면 Add an expected model output으로 이름과 타입을 등록합니다. 이 선언이 실제 모델의 출력 열을 생성해 주는 것은 아니므로 모델이 그 열을 반환해야 합니다.
부분집합 평가
전체 행을 평가하는 Overall 부분집합은 항상 만듭니다. 추가 부분집합은 선택 사항입니다. 모델 특성이나 예측에 사용하지 않은 열도 집단별 성능과 해석 및 공정성 비교에 사용할 수 있습니다.
Add evaluation subset에서 평가 데이터 열 또는 기대하는 모델 출력을 선택합니다.
문자열 구간
문자열 열은 평가 파이프라인을 빌드할 때 나타나는 각 고유 값마다 부분집합을 만듭니다.
수치 구간
Fixed width와 Range cut-offs 중 하나를 선택합니다. 두 방식 모두 하한을 포함하고 상한은 제외하는 구간을 사용합니다.
Fixed width는 Starting value와 Bucket width를 모두 지정합니다. 시작점을 기준으로 양수 및 음수 방향에 같은 폭의 구간을 만들어 선택한 열의 범위를 나눕니다.
Range cut-offs는 지정한 경계 사이를 구간으로 만듭니다. 열 범위를 모두 덮지 않으면 최소값에서 첫 경계까지, 마지막 경계에서 최대값까지 추가 구간이 생길 수 있습니다.
여러 필드 조합
Add additional field로 열이나 기대 출력을 추가하면 필드별 구간의 모든 조합에 부분집합을 만듭니다. 수치 구간 방식은 각 필드마다 별도로 설정할 수 있습니다.
각 부분집합을 평가 데이터셋 및 평가 라이브러리마다 처리하므로 구간이 많으면 빌드 시간이 크게 늘어날 수 있습니다. 오른쪽 미리보기에서 구성한 각 평가 데이터셋에 생길 부분집합 수를 확인합니다.
오른쪽 위 Save configuration으로 저장하고 대시보드로 돌아갑니다.
결과와 확장
평가 대시보드에서 같은 데이터 트랜잭션의 모델 결과를 비교하고 사용자 정의 보기에 지표를 고정할 수 있습니다. 기존 MetricSet 기반 호환이 필요하면 코드에서 지표 작성과 MetricSet 계약을 사용합니다.