온라인 모델 배포 API (V2)

LiveDeployment는 모델 버전을 호스팅하고 실시간 추론 요청을 처리하는 배포 인스턴스입니다. 모델을 실행할 연산 자원을 관리하며 transformJson으로 추론할 수 있습니다.

직접 배포와 현재 버전

Create Live Deployment의 deploymentType은 direct를 사용하며 모델 RID와 브랜치를 지정합니다. 직접 배포는 그 브랜치의 최신 모델 버전을 따라갑니다. 실제 배포 중인 버전은 응답의 modelVersion에서 확인합니다.

배포 목록은 모델의 직접 배포만 반환하며 브랜치로 범위를 좁힐 수 있습니다. 배포 RID를 알면 개별 조회로 현재 버전과 실행 구성 및 상태를 확인합니다.

실행 구성에는 최소 및 최대 복제본 수와 CPU, 메모리, GPU 및 자동 확장 조건을 지정합니다. 모델의 요구와 자원 큐에서 제공하는 GPU 유형을 확인합니다.

추론을 시작하기 전에는 isReady를 확인합니다. 복제본이 0으로 자동 축소되면 ACTIVE 상태에서도 준비되지 않을 수 있습니다. Transform JSON의 입력 이름과 값 구조는 배포한 모델의 Model API에 맞춥니다.

Replace Live Deployment는 새 실행 구성을 복제본에 적용합니다. 연결 소스 목록은 비활성 상태에서만 바꿀 수 있으므로 먼저 배포를 비활성화하고 상태를 확인합니다.

비활성화하면 실행 중인 복제본을 제거하지만 모델과 구성은 유지합니다. Start Live Deployment로 다시 시작할 수 있으며 이미 시작 중이거나 실행 중이면 효과가 없습니다.

전체 배포 응답 구조와 입력 검증 오류를 함께 확인합니다. UI에서 배포를 운영하는 방법은 직접 모델 배포에 있습니다.