Modeling Objective 온라인 배포의 연산 사용량

Modeling Objective 온라인 배포는 트래픽에 빠르게 응답할 전용 연산 자원을 계속 예약합니다. 실행 중에는 요청이 없어도 compute-seconds를 사용합니다. 사용량은 배포가 속한 Modeling Objective에 귀속하고 해당 목표가 있는 프로젝트 수준으로 합산합니다.

이 계산은 Modeling Objective 기반 배포의 범위입니다. JavaScript 함수 기반 배포와 직접 모델 배포에는 그대로 적용하지 않습니다. 직접 배포는 Compute Modules의 사용량 원칙을 따릅니다. 다만 컨테이너 모델은 배포 자원과 모델 이미지 자원을 모두 사용한다는 조건이 직접 배포에도 적용됩니다.

활성 상태와 복제본

배포를 시작하면 활성 상태가 되며 UI 또는 API로 중지할 때까지 활성 상태를 유지합니다. 목표를 플랫폼 휴지통으로 보내면 연결된 온라인 배포도 중지합니다. 직접 모델 배포는 요청량에 따라 확장하고 최소 복제본을 0으로 설정하는 별도 방식이 있습니다.

각 복제본은 vCPU와 GiB 메모리를 가진 전용 실행 단위이며 모델을 로드하여 요청을 처리합니다. 컨테이너 모델은 복제본마다 모델 버전에 설정한 자체 CPU 또는 GPU 및 메모리 자원도 사용합니다.

vCPU는 millicore로 표시할 수 있으며 1,000 millicore가 1 vCPU입니다. 같은 배포의 복제본은 동일한 vCPU 및 메모리 구성을 사용합니다. 총 사용량에는 자원 크기, GPU 수, 복제본 수와 활성 시간이 영향을 줍니다.

기본 환산 계수

이 값은 병렬 연산 체계에서 프로필을 compute-seconds로 환산하는 기본 계수입니다. 기업 계약의 산정 조건은 Palantir Support와 확인합니다.

vCPU 프로필의 계산:

vCPU compute-seconds
= max(vCPUs_per_replica, GiB_RAM_per_replica / 7.5)
  * num_replicas * live_model_vcpu_usage_rate * time_active_in_seconds

GPU 프로필의 계산:

GPU compute-seconds
= GPUs_per_replica * num_replicas
  * live_model_gpu_usage_rate * time_active_in_seconds

자원과 실제 복제본 수가 일정한 기간에 적용하는 식입니다. 자동 확장으로 복제본 수가 바뀌면 각 기간에 할당된 수를 반영해야 합니다.

사용량 조사와 조정

Resource Management에서 플랫폼 사용량을 확인합니다. 하나의 목표에 여러 온라인 배포가 실행될 수 있으므로 목표의 Deployments에서 각각을 확인합니다.

예상 최대 동시 요청량에 맞춰 자원을 설정합니다. 자원이 부족하면 요청 실패가 발생할 수 있고 너무 크게 설정하면 불필요한 사용량이 생깁니다. 운영상 중요한 용도에 투입하기 전에 관리자가 부하 시험으로 적절한 구성을 정하는 것을 권장합니다.

staging처럼 필요가 끝난 배포를 실행한 채 두지 않도록 확인합니다. 실제 자원 프로필과 복제본 수가 같다면 요청 수만 늘어나는 것은 사용량을 바꾸지 않습니다. 자동 확장으로 복제본 수가 늘어나는 경우는 할당 자원 자체가 바뀌므로 구분합니다.

프로필은 배포 생성 시 정하거나 활성 상태에서 변경할 수 있습니다. 갱신한 프로필은 중단 없이 적용됩니다.

리소스 큐를 사용하는 환경에서 관리자는 Resource Management > Resource queues에서 큐를 선택하고 Continuous compute 탭의 필터를 Live deployment로 설정하여 현재 실행 배포를 봅니다.

계산 예제

vCPU

low-cpu-lowest-memory 프로필의 복제본 두 개가 각각 0.5 vCPU와 1 GiB를 사용하며 20초 실행하는 예입니다.

max(0.5, 1 / 7.5) * 2 * 0.2 * 20 = 4 compute-seconds

GPU

복제본 두 개에 각각 V100 한 개를 할당하고 20초 실행하는 예입니다.

1 GPU * 2 replicas * 3 * 20 seconds = 120 compute-seconds

컨테이너 모델

배포 복제본 두 개에 각각 0.5 vCPU 및 1 GiB를 할당하고 각 복제본의 모델 이미지에는 CPU 4개와 메모리 30 GiB를 할당하여 20초 실행하는 예입니다.

배포 자원 = max(0.5, 1 / 7.5) * 2 * 0.2 * 20 = 4
모델 자원 = max(4, 30 / 7.5) * 2 * 0.2 * 20 = 32
합계 = 4 + 32 = 36 compute-seconds

모델 이미지의 자원을 배포의 작은 프로필에 포함된 것으로 계산하면 전체 사용량을 빠뜨리게 됩니다.