목표 평가 대시보드에서 모델 비교

목표 홈의 View evaluation dashboard에서 자동 평가 또는 코드로 만든 지표를 비교합니다. 볼 수 있는 결과는 모델과 평가 자료 및 지표의 접근 권한을 따릅니다.

Modeling Objective의 평가 대시보드 열기

기본값은 목표의 평가 구성으로 생성한 지표만 표시하는 것입니다. 코드에서 만든 MetricSet을 보려면 목표 설정의 Only show metrics produced by evaluation configuration을 꺼야 합니다.

대시보드는 선택한 평가 데이터셋과 모델 제출물에 대응하는 지표를 표시합니다.

평가 데이터와 모델 제출물의 결과 비교

평가 데이터와 트랜잭션

왼쪽 위에서 평가 데이터셋 또는 그 데이터셋의 특정 트랜잭션을 선택합니다. 트랜잭션을 정하지 않으면 모델마다 가장 최근 지표를 보여 줍니다. 이 경우 모든 모델이 같은 데이터 버전으로 평가되었다고 가정할 수 없습니다.

특정 트랜잭션을 선택하면 그 입력 버전으로 만든 지표만 표시합니다. 같은 데이터에 대한 통계적 비교에는 이 방식을 권장합니다. 모델 스키마가 바뀐 제출물을 함께 확인할 때에는 트랜잭션을 가로지른 비교가 유용할 수도 있습니다.

평가 데이터셋과 특정 트랜잭션 선택

표시할 모델은 Select models에서 직접 고른 제출물과 Search for models의 검색 결과를 합친 집합입니다.

직접 선택과 검색으로 모델 제출물 추가

Select models에서는 제출물을 하나 이상 선택합니다. 후보가 많으면 Search for models에서 다음 조건으로 찾을 수 있습니다.

검색 결과는 직접 선택한 모델에 추가합니다.

탭은 평가 구성에서 정의한 부분집합과 목표 설정에서 활성화한 사용자 정의 고정 보기로 구성합니다. 서로 다른 집단의 성능과 팀에서 중요하게 보는 지표를 구분하여 비교할 수 있습니다.

부분집합과 사용자 정의 탭으로 구성한 평가 대시보드