모델 산출물을 Foundry에 연결하기
Foundry는 여러 환경에서 만든 모델을 공통 인터페이스로 로드하고 추론에 사용합니다. Foundry 안에서 학습한 모델, 외부에서 학습한 파일을 비정형 데이터셋으로 올린 모델, Foundry Docker 레지스트리로 가져온 컨테이너, 외부에 계속 호스팅하는 모델을 연결할 수 있습니다. Modeling Objectives에서 후보를 평가하고 운영 앱에 배포하는 과정으로 연결합니다.
모델의 두 구성요소
모델 산출물에는 학습한 파일, 매개변수, 가중치, 컨테이너 또는 외부 모델 접속에 필요한 자격 증명이 포함됩니다. 모델 어댑터는 산출물을 로드하고 초기화하며 추론을 실행하는 로직과 환경 의존성을 제공합니다.
Foundry에서 직접 학습하려면 코드 저장소 실습, Jupyter 실습 또는 Model Studio를 사용할 수 있습니다. 어댑터를 작성할 위치는 생성 방식에서, 모델 입력과 출력은 API 정의에서 정합니다.
변환의 ModelInput은 게시된 모델을 배치 파이프라인에서 소비합니다. 온톨로지 연결은 객체와 객체 집합을 입력으로 받거나 추론 중 SDK로 데이터를 조회하는 경로를 설명합니다.
학습 환경과 예제
- Jupyter의 학습 및 모델 게시
- Code Repositories의 학습, 미리보기와 추론
- scikit-learn 이진 분류
- Spark ML 학습과 온라인 추론 제한
- PySpark XGBoost 분산 학습
외부 모델 파일
컨테이너와 실행 관찰
컨테이너 기반 모델은 이미지를 모델 버전에 포함하고 어댑터가 해당 서비스와 통신하는 방식입니다. 이미지 권한, 실행 요구 조건과 버전 구성을 확인한 뒤 연결합니다.
모델 추론 계측은 플랫폼의 요청 로그와 span에 사용자 정의 로그 및 작업 구간을 추가하는 방법을 설명합니다.
외부 호스팅 서비스
외부 모델 연결은 Foundry에 자격 증명과 어댑터를 저장하여 원격 서비스를 호출합니다. SageMaker, Vertex AI, Azure OpenAI 및 Databricks의 설정과 입출력 계약을 구분하고, 모델 접근 권한이 어떤 외부 호출 권한을 위임하는지 확인합니다.
언어 모델의 변환 API
언어 모델 입력 클래스는 모델 RID를 변환에 연결하며 공통 채팅 API는 텍스트 메시지와 생성 옵션 및 응답을 정의합니다. 이전 Hugging Face 기본 어댑터를 사용하는 모델은 지원 종료 어댑터의 계약과 교체에서 작업별 입출력과 학습 및 장치 조건을 확인합니다.