온라인 모델 배포 생성(Create Live Deployment) (V2)
모델과 실행 구성으로 Live Deployment를 만듭니다. 요청 후 연산 자원을 준비하고 대상 모델 버전을 배포하기 시작합니다. 실제 추론 준비 여부는 응답이나 상태 조회의 isReady로 확인합니다.
deploymentType과 runtimeConfiguration은 필수입니다. 이 API의 direct 대상은 모델 RID와 브랜치를 지정하여 그 브랜치의 최신 모델 버전을 따라갑니다.
이 엔드포인트는 미리보기 기능이며 언제든 변경되거나 제거될 수 있습니다. 사용하려면 preview=true를 지정합니다.
HTTP 요청
POST /api/v2/models/liveDeployments
작업 식별자는 v2.createLiveDeployment입니다. OAuth2로 호출하는 타사 애플리케이션에는 api:models-write 권한 범위가 필요합니다. 각 요청에 Authorization: Bearer <접근 토큰>을 전달합니다.
경로 매개변수
지정할 경로 매개변수가 없습니다.
쿼리 매개변수
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
preview | boolean | 선택 | 미리보기 기능 사용을 활성화합니다. | true |
요청 본문
본문 형식은 CreateLiveDeploymentRequest이며 필수입니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
deploymentType | union<direct> | 필수 | 배포할 모델의 원천과 버전 선택 방식입니다. | |
runtimeConfiguration | object | 필수 | 배포의 연산 자원 구성입니다. | 본문 예시 참조 |
deploymentType의 구조
분기 direct
모델 브랜치의 최신 버전을 따라가는 직접 배포를 만듭니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 허용값: direct. | direct |
modelRid | string | 필수 | 모델의 RID입니다. | ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9 |
branch | string | 필수 | 배포가 따라갈 모델 브랜치입니다. | master |
runtimeConfiguration의 구조
복제본, 자원, 자동 확장과 연결 소스의 모든 필드는 실행 구성을 따릅니다.
요청 본문 예시입니다.
{
"deploymentType": {
"type": "direct",
"modelRid": "ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9",
"branch": "master"
},
"runtimeConfiguration": {
"minReplicas": 1,
"maxReplicas": 3,
"cpu": 1.0,
"memory": "256MiB",
"threadCount": 32,
"environmentVariables": {
"LOG_LEVEL": "INFO"
}
}
}
응답
응답 형식은 LiveDeployment입니다.
반환된 LiveDeployment입니다.
전체 모델 버전, 실행 구성과 상태 필드는 배포 응답 구조를 따릅니다.
추론 요청을 처리할 준비가 된 직접 배포의 응답 예시입니다.
{
"runtimeConfiguration": {
"minReplicas": 1,
"maxReplicas": 3,
"cpu": 1.0,
"memory": "256MiB",
"threadCount": 32,
"environmentVariables": {
"LOG_LEVEL": "INFO"
}
},
"modelVersion": {
"modelRid": "ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9",
"modelVersionRid": "ri.models.main.model-version.adf94926-c3ac-41ea-beb2-4946699d08ee"
},
"rid": "ri.foundry-ml-live.main.live-deployment.f351c142-0e4c-4b12-adc2-6e1539737ae9",
"branch": "master",
"status": {
"state": "ACTIVE",
"isReady": true
}
}
개별 오류
| 오류 이름 | 오류 코드 | HTTP | 의미와 조건 | 추가 매개변수 |
|---|---|---|---|---|
ThreadCountTooHigh | INVALID_ARGUMENT | 400 | 지정한 스레드 수가 허용된 최대값을 초과합니다. | maxThreadCount, providedThreadCount |
InvalidGpuCount | INVALID_ARGUMENT | 400 | GPU 수가 유효하지 않습니다. 요청한 유형에서 허용하는 최대값 이하이고 1 이상이어야 합니다. | providedGpuCount, maxGpuCount |
GpuTypeNotAvailable | INVALID_ARGUMENT | 400 | 요청한 GPU 유형을 사용할 수 없습니다. 해당 배포의 자원 큐에서 제공하는 유형을 사용해야 합니다. | requestedGpuType, availableGpuTypes |
ReservedEnvironmentVariable | INVALID_ARGUMENT | 400 | 해당 환경 변수 이름은 배포 런타임이 사용하도록 예약되어 있습니다. | name |
DeploymentSourceNotImportedIntoProject | INVALID_ARGUMENT | 400 | 소스는 배포의 프로젝트 안에 있거나 그 프로젝트로 가져온 리소스여야 합니다. | sourceRid, projectRid |
DeploymentSourceCannotExportResourceMarkings | INVALID_ARGUMENT | 400 | 배포한 리소스에 적용되는 모든 유효 보안 표지에 대해 소스의 내보내기가 활성화되어 있지 않습니다. | sourceRid, resourceRid |
DeploymentSourceNotEnabledForComputeModules | INVALID_ARGUMENT | 400 | 소스가 Compute Modules에서 사용하도록 활성화되어 있지 않습니다. | sourceRid |
CreateLiveDeploymentPermissionDenied | PERMISSION_DENIED | 403 | LiveDeployment를 생성할 권한이 없습니다. | |
ModelNotFound | NOT_FOUND | 404 | 모델을 찾을 수 없습니다. | modelRid |
요청 예제
FOUNDRY_HOST에는 https://를 제외한 Foundry 호스트를, FOUNDRY_TOKEN에는 유효한 토큰을 환경 변수로 제공합니다. 예시 식별자와 매개변수 값은 실제 작업 대상에 맞게 바꿉니다.
모델의 master 브랜치를 따라가는 직접 배포 예제입니다. 호출하면 배포가 생성되고 연산 자원 준비가 시작됩니다. 최소 1개, 최대 3개의 복제본과 자원 수치는 예시 설정이므로 실제 모델과 환경에 맞게 지정합니다.
cURL
curl -X POST \
-H "Content-type: application/json" \
-H "Authorization: Bearer ${FOUNDRY_TOKEN}" \
"https://${FOUNDRY_HOST}/api/v2/models/liveDeployments?preview=true" \
-d '{"deploymentType":{"type":"direct","modelRid":"ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9","branch":"master"},"runtimeConfiguration":{"minReplicas":1,"maxReplicas":3,"cpu":1.0,"memory":"256MiB","threadCount":32,"environmentVariables":{"LOG_LEVEL":"INFO"}}}'
Python
Requests 라이브러리가 설치된 Python 환경에서 사용합니다.
import os
import requests
HOSTNAME = os.environ["FOUNDRY_HOST"]
TOKEN = os.environ["FOUNDRY_TOKEN"]
headers = {
"content-type": "application/json",
"authorization": "Bearer {}".format(TOKEN)
}
request_body = {'deploymentType': {'type': 'direct',
'modelRid': 'ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9',
'branch': 'master'},
'runtimeConfiguration': {'minReplicas': 1,
'maxReplicas': 3,
'cpu': 1.0,
'memory': '256MiB',
'threadCount': 32,
'environmentVariables': {'LOG_LEVEL': 'INFO'}}}
response = requests.post('https://{}/api/v2/models/liveDeployments?preview=true'.format(HOSTNAME), headers=headers, json=request_body)
print(response)
Java
Apache HttpClient 4.5 API와 try-with-resources를 사용합니다. 클래스 이름에 맞는 CreateLiveDeploymentExample.java 파일에서 사용합니다.
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.entity.ContentType;
import org.apache.http.entity.StringEntity;
public class CreateLiveDeploymentExample {
public static void main(String[] args) throws Exception {
String HOSTNAME = System.getenv("FOUNDRY_HOST");
String TOKEN = System.getenv("FOUNDRY_TOKEN");
try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) {
HttpPost request = new HttpPost("https://" + HOSTNAME + "/api/v2/models/liveDeployments?preview=true");
request.addHeader("content-type", "application/json");
request.addHeader("authorization", String.format("Bearer %s", TOKEN));
request.setEntity(new StringEntity("{\"deploymentType\":{\"type\":\"direct\",\"modelRid\":\"ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9\",\"branch\":\"master\"},\"runtimeConfiguration\":{\"minReplicas\":1,\"maxReplicas\":3,\"cpu\":1.0,\"memory\":\"256MiB\",\"threadCount\":32,\"environmentVariables\":{\"LOG_LEVEL\":\"INFO\"}}}", ContentType.APPLICATION_JSON));
try (CloseableHttpResponse response = httpClient.execute(request)) {
System.out.println(response);
}
}
}
}
JavaScript
fetch를 제공하는 Node.js 환경에서 사용합니다. 서비스 사용자 토큰을 브라우저로 전달하지 않습니다.
const HOSTNAME = process.env.FOUNDRY_HOST;
const TOKEN = process.env.FOUNDRY_TOKEN;
fetch(`https://${HOSTNAME}/api/v2/models/liveDeployments?preview=true`, {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Authorization': `Bearer ${TOKEN}`,
},
body: '{"deploymentType":{"type":"direct","modelRid":"ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9","branch":"master"},"runtimeConfiguration":{"minReplicas":1,"maxReplicas":3,"cpu":1.0,"memory":"256MiB","threadCount":32,"environmentVariables":{"LOG_LEVEL":"INFO"}}}'
}).then((response) => {
console.log(response)
});
PowerShell
$ErrorActionPreference = 'Stop'
$TOKEN = $env:FOUNDRY_TOKEN
$HOSTNAME = $env:FOUNDRY_HOST
$headers = @{
"authorization" = "Bearer $TOKEN"
}
$response = Invoke-WebRequest -Uri "https://$HOSTNAME/api/v2/models/liveDeployments?preview=true" `
-Method Post `
-Headers $headers `
-ContentType application/json `
-Body "{`"deploymentType`":{`"type`":`"direct`",`"modelRid`":`"ri.models.main.model.f351c142-0e4c-4b12-adc2-6e1539737ae9`",`"branch`":`"master`"},`"runtimeConfiguration`":{`"minReplicas`":1,`"maxReplicas`":3,`"cpu`":1.0,`"memory`":`"256MiB`",`"threadCount`":32,`"environmentVariables`":{`"LOG_LEVEL`":`"INFO`"}}}"
$response.content