목표의 이진 분류 평가기
Modeling Objective의 기본 Binary classification 평가기는 숫자 1을 positive 클래스, 0을 negative 클래스로 해석합니다. 자동 평가의 각 부분집합 구간에 지표와 차트를 생성합니다. 예측 또는 정답에 두 클래스가 모두 없으면 일부 지표를 계산할 수 없습니다.
수치 지표
| 지표 | 의미 |
|---|---|
| Row count | 평가 레코드 수입니다. |
| Prior | 실제 positive 비율입니다. 모델 성능 자체의 점수가 아니라 다른 지표를 해석할 때 쓰는 기준입니다. |
| Accuracy | 전체 중 올바르게 분류한 비율이며 0부터 1 사이입니다. 1이면 모든 레코드가 맞습니다. |
| Precision | TP / (TP + FP)입니다. 0부터 1 사이이며 positive로 예측한 것 중 실제 positive 비율입니다. |
| Recall | TP / (TP + FN)입니다. sensitivity라고도 하며 실제 positive 중 찾아낸 비율입니다. |
| F1 score | 정밀도와 재현율의 조화평균인 2 × precision × recall / (precision + recall)입니다. 0부터 1 사이이며 두 지표를 함께 반영합니다. |
| Matthews correlation coefficient | 정답과 예측의 상관을 두 클래스에 걸쳐 평가합니다. -1부터 1 사이이고 두 클래스에서 모두 잘 분류해야 높아집니다. 1은 완전한 분류입니다. |
| ROC AUC score | 확률을 제공했을 때 ROC 곡선 아래 면적입니다. 0부터 1 사이이며 1은 완전한 구분, 0.5는 무작위 추측의 기대 수준입니다. |
TP, TN, FP와 FN은 각각 참 positive, 참 negative, 거짓 positive와 거짓 negative 건수입니다. positive는 이 평가기에서 숫자 1로 정한 클래스이므로 도메인에서 붙인 클래스 이름과 의미를 먼저 확인합니다.
차트
| 차트 | 내용과 조건 |
|---|---|
| Confusion matrix | TP, TN, FP와 FN을 표시합니다. |
| Score distribution | 예측 클래스의 분포를 막대 차트로 표시합니다. |
| Probability distribution | 확률 입력이 필요합니다. 0부터 1 범위를 폭 0.05인 총 20개 구간으로 표시합니다. |
| ROC curve | 확률 입력이 필요합니다. 판정 확률을 바꾸며 TPR과 FPR의 관계를 표시합니다. |
| TPR curve | 확률 입력이 필요합니다. 예측 확률 기준에 따른 true positive rate를 표시합니다. |
| FPR curve | 확률 입력이 필요합니다. 예측 확률 기준에 따른 false positive rate를 표시합니다. |
| Lift curve | 확률 입력이 필요합니다. positive 클래스에서 무작위 선택과 비교한 모델의 lift를 표시합니다. |
설정
| 필드 | 필수 여부와 동작 |
|---|---|
| inference_field | 필수 정수 열입니다. 모델의 예측 클래스이며 1=positive, 0=negative입니다. |
| actual_field | 필수 정수 열입니다. 비교할 정답이며 같은 1/0 의미를 사용합니다. |
| probability_field | 선택입니다. positive 클래스의 확률을 담은 열입니다. 제공하면 확률 분포, ROC AUC 및 ROC/TPR/FPR/Lift 곡선을 계산할 수 있습니다. |
| max_samples_for_roc | ROC 곡선 생성에 사용할 최대 샘플 수이며 기본값은 200입니다. |
지표가 없는 부분집합을 자동 검사에 사용할 때에는 필요한 지표가 실제로 생성되었는지 확인합니다.