Modeling Objective의 추론 이력
추론 이력은 Modeling Objective 온라인 배포의 요청, 결과와 오류를 데이터셋에 기록합니다. 입력 분포의 변화, 사용 빈도와 호출 위치를 분석하고 정답이나 검토 결과와 연결하여 성능 평가 및 재학습에 활용할 수 있습니다. 직접 모델 배포의 일반 실행 로그와는 별도 기능입니다.
모든 요청과 결과의 기록을 보장하지는 않습니다. 플랫폼 성능을 유지하기 위해 이력 쓰기에 실패한 요청은 다시 기록하려고 재시도하지 않습니다.
생성 권한과 저장 위치
설정에는 foundry-ml-live:edit-inference-ledger gatekeeper 권한이 필요합니다. 보통 목표의 owner 역할로 부여합니다. 이력 데이터셋은 부모 Modeling Objective와 같은 프로젝트에 저장해야 하며 지정된 스키마를 유지하기 위해 기존 데이터셋을 선택할 수 없습니다.
목표 Deployments에서 온라인 배포를 열고 Model Inference History 카드의 Create dataset을 선택합니다.
이름과 저장 위치를 지정합니다. 입력과 출력에 민감한 정보가 포함될 수 있으므로 적절한 권한을 가진 사용자만 접근하도록 Security Markings 추가를 강력히 권장합니다.
기록 필드
| 필드 | 의미 |
|---|---|
| timestamp | 입력 요청 시각입니다. |
| user_id | 요청을 보낸 Foundry 사용자 ID입니다. |
| request_uuid | 요청의 고유 식별자입니다. |
| live_rid | 온라인 모델 배포 RID입니다. |
| objective_rid | Modeling Objective RID입니다. |
| model_rid | 모델 리소스 RID입니다. |
| model_version_rid | 모델 버전 RID입니다. |
| input | 모델에 보낸 입력의 JSON 표현입니다. |
| output | 모델 출력의 JSON 표현입니다. |
| error | 추론 중 발생한 자세한 오류 또는 스택 추적입니다. |
임시 기록 중지
카드 오른쪽 위의 Enable Recording을 끄거나 켜면 기록을 일시 중지하거나 다시 시작합니다.
영구 연결 제거
카드의 데이터셋 오른쪽 Remove는 이력 연결을 영구 제거합니다. 데이터셋 자체는 삭제하지 않지만 새 행을 기록하지 않으며 같은 데이터셋을 배포에 다시 연결할 수 없습니다. 되돌릴 수 없는 제거 대신 잠시 중지하려는 경우에는 Enable Recording을 사용합니다.
이 데이터셋과 온라인 배포 서비스 로그는 별도로 관리합니다. 서비스 로그의 7일 조회 기간을 추론 이력 데이터셋과 혼동하지 않습니다.