Modeling Objectives에서 모델 평가

프로젝트와 모델을 준비하고 목표에 후보 하나 이상을 제출한 상태에서 진행합니다. 이 실습은 Jupyter 또는 Code Repositories에서 학습 및 시험을 나누어 만든 housing_test_data와 linear_regression_model을 기준으로 합니다. 학습에 사용하지 않은 특성과 정답 라벨이 있는 시험 집합이 필요합니다.

Model Studio만 수행했다면 내부 시험 지표는 연결된 실험에서 확인할 수 있습니다. 별도 목표 평가에는 학습에 사용하지 않은 공통 시험 데이터를 준비해야 합니다. 평가 단계는 권장되지만 다음 배포 절차를 설명하는 데 필수는 아니며 나중에 돌아올 수도 있습니다.

공통 평가 구성

목표는 후보 모델 버전과 평가 및 검토 이력을 보관합니다.

Configure evaluation dashboard를 선택합니다.

Pipeline management의 Edit에서 Generate inference and metrics pipelines와 Automatically run inference and metrics on model submission을 모두 켜고 저장합니다. 이렇게 하면 제출물과 평가 데이터셋의 각 조합에 추론 및 지표 파이프라인을 만듭니다.

Add evaluation dataset에서 housing_test_data를 고르고 추론 및 지표 출력 위치를 data 폴더로 지정합니다. Select dataset and folders로 확인합니다.

회귀 평가 라이브러리

주택 가격 중앙값은 회귀 문제이므로 MAE와 RMSE 같은 지표를 사용할 수 있습니다. 모든 후보가 prediction이라는 float 예측 열을 생성하도록 맞춥니다.

Select evaluation library에서 Regression default library를 고릅니다. inference_field는 prediction, 자료형은 float, actual_field는 median_house_value, histogram_bins는 빈 상태로 두고 저장합니다.

부분집합 평가

전체 점수 외에 특정 구간의 성능, 약한 부분과 보호 집단에 대한 차이를 조사할 수 있습니다. Add evaluation subset에서 housing_median_age를 고르고 Range cut-off의 경계를 5와 30으로 지정하여 저장합니다.

결과는 Overall, 5 미만, 5 이상 30 미만, 30 이상의 네 집합으로 나뉩니다. 30은 마지막 구간에 포함합니다. Save configuration으로 전체 구성을 저장합니다.

기존 제출물 실행

설정 이후 제출은 자동으로 파이프라인을 만들고 선택한 경우 실행합니다. 이미 제출한 모델은 Build Evaluation에서 housing_test_data와 linear_regression_model을 선택하여 수동 빌드합니다. 파이프라인 준비 전에는 Build가 비활성화될 수 있습니다.

오른쪽 위 최근 빌드 메뉴에서 추론과 지표 작업의 진행을 확인합니다.

결과 해석

빌드 후 새로고침하고 시험 데이터 및 모델을 선택합니다. 예시 화면의 RMSE 82,639.10은 가격 오차 제곱의 평균에 제곱근을 취한 값입니다. 가격과 같은 단위를 쓰지만 평균 절대 오차와 같지 않고 큰 오차에 더 민감합니다. 이 수치는 실습 화면의 결과이며 업무에서 허용할 성능은 이해관계자와 별도로 정합니다.

housing_median_age 탭에서 구간별 지표를 비교합니다. 예시 화면에서는 5 이상 30 미만 구간이 더 좋은 성능을 보입니다. 자신의 결과에서도 동일하다고 가정하지 말고 해당 구간과 데이터를 확인합니다.

평가와 검토 후 운영 배포를 준비합니다.