Live Deployment의 실행 구성
runtimeConfiguration은 모델을 처리할 복제본과 연산 자원 및 자동 확장 설정을 지정합니다. 생성과 교체에서 필수이며 최소 및 최대 복제본 수도 명시합니다. 실제 자원량은 배포할 모델의 요구에 맞춥니다.
자원과 준비 상태
CPU와 메모리는 지정한 요청량이 한도로도 설정됩니다. 메모리는 256MiB, 1GiB 같은 문자열로 표현합니다. threadCount의 기본값은 32이며 복제본 하나로 보내는 동시 요청 수에 영향을 줍니다. 허용 최대 스레드 수는 오류의 maxThreadCount를 확인합니다.
GPU 수는 1 이상이며 요청한 유형의 허용 최대 수를 넘을 수 없습니다. GPU 유형을 생략하면 어떤 유형이든 허용하지만 실제 선택 가능한 하드웨어는 배포의 자원 큐에 따릅니다.
자동 확장
작업 수용량은 실행 중인 복제본 수와 threadCount의 곱입니다. 실행 중인 작업 수를 이 수용량으로 나눈 비율이 scaleUpLoadThreshold를 scaleUpDelay 동안 넘으면 복제본을 늘립니다. 임계값 범위는 0.0부터 1.0까지입니다.
scaleDownDelay는 부하가 축소 임계값보다 낮아야 하는 기간입니다. 이 구성에는 별도의 축소 임계값 필드가 없습니다. 지연 기간은 정수 value와 unit을 갖습니다.
복제본이 0으로 자동 축소되면 state가 ACTIVE여도 isReady는 false일 수 있습니다. 요청 처리 준비 여부는 isReady로 확인합니다.
연결 소스와 환경 변수
sources는 Connection RID 목록입니다. 각 소스는 배포 프로젝트에 있거나 그 프로젝트로 가져온 리소스여야 하고, 배포 리소스의 모든 유효 보안 표지에 대한 내보내기와 Compute Modules 사용이 활성화되어 있어야 합니다.
소스 목록은 배포가 비활성화된 상태에서만 바꿀 수 있습니다. 변경 전에 비활성화하고 상태를 확인한 뒤 구성을 교체합니다. 환경 변수는 문자열 맵으로 전달하며 런타임이 예약한 이름은 사용할 수 없습니다.
전체 필드
배포의 연산 자원 구성입니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
minReplicas | integer | 필수 | 실행 상태로 유지할 최소 복제본 수입니다. | |
maxReplicas | integer | 필수 | 부하에 따라 확장할 최대 복제본 수입니다. | |
cpu | double | 선택 | 요청할 CPU 단위 수입니다. 같은 값이 한도로도 설정됩니다. | |
memory | string | 선택 | 256MiB, 1GiB 같은 사람이 읽을 수 있는 형식의 메모리 요청량입니다. 같은 값이 한도로도 설정됩니다. | |
gpu | object | 선택 | 배포에 사용할 선택적인 GPU 자원입니다. | 본문 예시 참조 |
threadCount | integer | 선택 | 질의 처리에 사용할 스레드 수입니다. 기본값은 32이며 복제본 하나로 보내는 동시 요청 수에도 영향을 줍니다. | |
scalingConfiguration | object | 선택 | 부하에 따라 복제본을 늘리거나 줄이는 자동 확장 구성입니다. | 본문 예시 참조 |
sources | list<ConnectionRid> | 선택 | 배포에 연결한 Connection, 즉 소스의 RID 목록입니다. | |
environmentVariables | map<string, string> | 선택 | 컨테이너에 설정할 사용자 환경 변수이며 변수 이름에서 문자열 값으로 대응하는 맵입니다. |
gpu의 구조
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
count | integer | 필수 | 요청할 GPU 수입니다. | |
type | enum | 선택 | 사용할 GPU 유형입니다. 생략하면 어떤 유형이든 허용합니다. 허용값: A100, A10G, A16, B200, B300, H100, H200, L4, L40S, T4, V100. | A100 |
scalingConfiguration의 구조
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
scaleUpLoadThreshold | double | 필수 | 0.0부터 1.0까지의 임계값입니다. 실행 중인 작업 수를 작업 수용량으로 나눈 비율이 확장 지연 시간 동안 이 값을 넘으면 복제본을 늘립니다. 작업 수용량은 실행 중인 복제본 수와 threadCount의 곱입니다. | |
scaleUpDelay | object | 필수 | 확장 전에 부하가 확장 임계값을 넘어 있어야 하는 기간입니다. | 본문 예시 참조 |
scaleDownDelay | object | 필수 | 축소 전에 부하가 축소 임계값보다 낮아야 하는 기간입니다. | 본문 예시 참조 |
scaleUpDelay의 구조
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
value | integer | 필수 | 기간의 수치입니다. | 30 |
unit | enum | 필수 | 기간의 단위입니다. 허용값: MILLISECONDS, SECONDS, MINUTES, HOURS, DAYS, WEEKS, MONTHS, YEARS. | SECONDS |
scaleDownDelay의 구조
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
value | integer | 필수 | 기간의 수치입니다. | 30 |
unit | enum | 필수 | 기간의 단위입니다. 허용값: MILLISECONDS, SECONDS, MINUTES, HOURS, DAYS, WEEKS, MONTHS, YEARS. | SECONDS |
sources의 구조
배열 항목은 ConnectionRid이며 자료형은 string입니다.
소스라고도 부르는 Connection의 RID입니다.
구성 예시
A100을 사용할 수 있는 자원 큐를 가정한 예시입니다. 복제본 수와 CPU, 메모리, GPU 및 확장 조건은 실제 모델과 환경에 맞게 지정합니다.
{
"minReplicas": 1,
"maxReplicas": 3,
"cpu": 1.0,
"memory": "256MiB",
"threadCount": 32,
"gpu": {
"count": 1,
"type": "A100"
},
"scalingConfiguration": {
"scaleUpLoadThreshold": 0.8,
"scaleUpDelay": {
"unit": "SECONDS",
"value": 30
},
"scaleDownDelay": {
"unit": "SECONDS",
"value": 30
}
},
"environmentVariables": {
"LOG_LEVEL": "INFO"
}
}