모델 평가의 버전과 권한 질문

Experiment와 Evaluation의 차이는 무엇인가요?

Experiment는 학습 작업의 하이퍼파라미터와 단계별 지표 시리즈를 기록하며 MLflow와 연결할 수 있습니다. ModelOutput에서 작성하고 모델과 함께 게시합니다. Evaluation은 학습이 끝난 모델 버전의 시험 결과 한 묶음을 ModelInput에서 기록합니다. 두 기능의 API는 서로 다릅니다.

평가 코드는 어디에 작성하나요?

Code Repositories에서 @pm.transforms.evaluation 데코레이터와 ModelInput을 사용합니다. 저장소 업그레이드 및 palantir_models 0.2384.0 이상을 준비합니다. 평가 작성에 실제 추론과 결과 기록을 포함한 예제가 있습니다.

평가 기록이 권한 오류로 실패하는 이유는 무엇인가요?

대상 모델과 평가 코드를 실행하는 저장소는 같은 프로젝트에 있어야 합니다. 서로 다른 프로젝트이면 기록을 거부하므로 모델 또는 저장소를 옮겨 같은 프로젝트에 둡니다.

어느 모델 버전에 연결되나요?

ModelInput이 변환에 로드한 단일 버전에 연결됩니다. 기본값은 빌드 브랜치의 최신 버전입니다. model_version으로 특정 버전을 고정하거나 branch로 다른 브랜치의 최신 버전을 선택합니다. 둘을 함께 지정하면 model_version이 우선합니다.

방금 만든 모델 버전을 어떻게 평가하나요?

새 모델 버전 게시를 조건으로 평가 일정을 구성하거나 Evaluations 보기의 Run으로 실행합니다. 수동 실행에서는 모델 버전을 선택하고 저장소의 최신 평가 로직을 사용합니다. 실행 및 일정에 해당 조작부가 있습니다.

이름을 매번 바꾸어야 하나요?

같은 평가 이름을 다시 사용해도 자동으로 구분합니다. 이름을 지정하지 않으면 평가 집합 이름을 사용합니다.

빌드가 실패하면 어떤 결과가 남나요?

평가는 빌드가 성공해야 집합에 커밋됩니다. 실패하면 평가를 중단하며 결과를 게시하지 않습니다.

같은 모델을 여러 방식으로 평가하려면 어떻게 하나요?

방법마다 별도 평가 집합을 사용합니다. 데코레이터가 변환의 집합 이름을 고정하므로 집합 이름이 다른 변환을 각각 정의합니다. 모델 하나에는 최대 100개 평가 집합을 만들 수 있습니다.

모델 버전 사이의 지표를 어떻게 비교하나요?

평가 집합은 같은 방법으로 만든 여러 버전의 결과를 보관합니다. 각 결과가 특정 버전에 연결되므로 모델 페이지에서 재학습 전후의 지표 변화를 비교할 수 있습니다.

어떤 자료를 기록할 수 있나요?

int 또는 float 지표, PNG나 Pillow 이미지, Plotly Figure, pandas 또는 Polars 표를 기록합니다. prefix/name으로 관련 결과를 부분집합에 묶습니다. 기록 한도에는 이름 길이, 업로드 크기와 표 행 수가 있습니다.

scikit-learn이 반드시 필요한가요?

내장 평가기를 사용할 때 필요합니다. 직접 계산한 지표와 이미지, 플롯 및 표를 기록하는 API는 scikit-learn을 요구하지 않습니다.