LLM 용량과 처리량 한도 관리

LLM 제공자는 계정별로 처리할 수 있는 최대 용량을 제한합니다. AIP도 이 용량 안에서 모델 요청을 처리하며, 다음 두 단위를 사용합니다.

모델마다 용량을 별도로 관리하므로 한 모델의 사용량은 다른 모델의 한도에서 차감되지 않습니다. 같은 모델에 활성화한 제공 백엔드가 여러 개라면 인스턴스 한도는 해당 백엔드의 한도를 합산합니다. 지역 제한이 있는 인스턴스의 실제 용량은 더 작을 수 있습니다.

인스턴스 등급과 전체 한도

인스턴스 수준의 한도는 모델별 전체 상한입니다. 기본 등급은 Medium이며, 프로토타입과 여러 업무 활용 사례를 운영하도록 제공됩니다. 수백 명의 사용자나 수백만 문서를 다루는 사례에서도 실제 필요한 용량은 분당 요청과 토큰 부하에 따라 달라집니다.

지속적으로 한도에 도달하거나 파이프라인 규모와 사용자가 늘어날 예정이면 Large, XL 등급으로 확대하는 방안을 Palantir 지원팀과 검토할 수 있습니다.

Resource Management → AIP rate limits에서 인스턴스 등급과 설정된 한도를 확인합니다. 모델과 백엔드별 기본 수치는 인스턴스 처리량 한도 표에 정리되어 있습니다.

프로젝트 귀속과 사용자 귀속

요청은 프로젝트 또는 사용자 중 하나에만 귀속되며, 귀속 유형에 따라 해당 한도를 적용합니다.

여기서 귀속은 처리량 한도를 적용하는 기준입니다. 연산 사용량의 비용 귀속과 구분합니다. 예를 들어 Pipeline Builder의 설명 기능은 사용자별 처리량 한도의 대상이지만, 설명 생성에 사용한 연산 비용은 해당 파이프라인에 귀속될 수 있습니다.

사용량 보기

플랫폼 인스턴스 관리자는 Resource Management → AIP usage & limits → View usage에서 Palantir 제공 모델의 토큰과 요청 사용량을 살펴봅니다.

이 화면에서는 다음을 확인할 수 있습니다.

• 모든 모델의 합산 사용량과 개별 모델별 사용량
• 분 단위 토큰 및 요청 수
• 인스턴스 전체와 프로젝트별 사용량
• 모델별 사용자 귀속 사용량
• 인스턴스 또는 프로젝트 한도와 배치 처리 한도
• 선택한 범위의 프로젝트별 또는 리소스별 합계 표

용량은 모델별로 관리되므로 병목을 조사할 때는 한 번에 한 모델로 좁혀 봅니다. 오른쪽 위의 한도 표시 토글을 켜면 인스턴스 또는 프로젝트 한도와 그 80%에 해당하는 배치 한도가 점선으로 나타납니다.

기간과 집계

최근 2주의 데이터를 분 단위까지 살펴볼 수 있습니다. 왼쪽 날짜 필터를 사용하거나 차트에서 범위를 드래그하여 좁힙니다.

선택한 기간이 6시간보다 짧으면 인스턴스 화면에서는 프로젝트별, 프로젝트 화면에서는 리소스별 구분이 차트에 나타납니다. 아래의 합계 표에도 시간, 모델과 프로젝트 필터가 적용됩니다.

이 화면은 용량과 한도 분석을 위한 것입니다. 모델별 금액을 분석하려면 아래의 Analysis 화면을 사용합니다.

프로젝트 한도

AIP usage & limits → Manage rate limits에서 프로젝트와 사용자 한도를 관리합니다.

프로젝트 한도는 모델별 인스턴스 TPM과 RPM 각각에 대해 프로젝트 하나가 사용할 수 있는 최대 비율입니다. 해당 프로젝트 안의 리소스 사용량을 합쳐 적용합니다.

관리자는 새 한도 설정을 만들고 프로젝트를 배정할 수 있습니다. 별도 설정에 배정하지 않은 프로젝트는 기본 설정을 사용합니다.

여러 프로젝트에 같은 설정 적용

같은 한도 설정의 비율은 각 프로젝트에 개별적으로 적용됩니다.

가상의 두 프로젝트에 20% 설정을 적용하면 각 프로젝트의 상한이 20%가 됩니다. 프로젝트별 상한의 합계가 100%를 넘더라도 요청 전체에는 인스턴스 상한이 적용됩니다.

모델별 재정의

한도 설정 안에서 특정 모델의 비율을 별도로 지정할 수 있습니다. 이 재정의는 해당 설정에 배정된 프로젝트에만 적용됩니다. 기본 설정의 재정의는 다른 수동 설정에 배정되지 않은 프로젝트에 적용됩니다.

모델 허용 목록처럼 구성하는 가상 예시는 다음과 같습니다.

1. 기본 프로젝트 비율을 0%로 설정합니다.
2. Claude Sonnet 4에 30%의 모델별 재정의를 추가합니다.
3. GPT-4.1에 25%의 재정의를 추가합니다.

이 설정의 프로젝트는 지정한 두 모델만 각각의 한도 안에서 사용할 수 있습니다. 특정 모델만 막으려면 그 모델의 재정의를 0%로 설정할 수 있습니다.

사용자별 한도

사용자 한도는 사용자 귀속 요청에만 적용합니다. 한 사용자의 대화형 작업이 특정 모델의 인스턴스 용량 전체를 소모하지 않도록 관리하는 수단입니다.

Manage rate limits → User rate limits에서 기본값, 사용자 그룹 재정의와 모델별 재정의를 관리합니다.

기본값

Palantir는 모델별 사용자 기본 한도를 제공합니다. 관리 화면 또는 모델별 한도 표의 사용자 한도 열에서 확인합니다.

기본값은 사용자 생산성과 인스턴스 보호 사이의 균형을 위해 정해져 있습니다. 모든 모델에 하나의 사용자 지정 비율을 적용했다면 새 모델이 추가될 때 그 설정이 불필요하게 사용을 제한하지 않는지 다시 확인해야 합니다.

재정의 값의 형식

재정의는 공개된 사용자 기본값을 대체합니다. 기본값보다 낮은 재정의도 그대로 적용합니다.

모델의 사용자 한도를 50,000 TPM 또는 10 RPM 미만으로 지정하면 일부 AIP 기능이 동작하지 않을 수 있어 설정 화면에 경고가 표시됩니다. 이 경고는 사용자 지정 설정의 권장 최소값을 기준으로 표시하며, 모델별 공개 기본값은 별도로 정해집니다.

기본 AIP 기능의 접근을 유지하기 위해 사용자 한도를 0 TPM 또는 0 RPM으로 설정하는 것은 지원하지 않습니다. 프로젝트 모델 재정의를 0%로 설정하는 기능과 구분합니다.

재정의의 적용 순서

재정의가 없으면 해당 모델의 공개 사용자 기본값을 사용합니다. 그룹 재정의가 적용되면 인스턴스 전체의 사용자 기본 설정 대신 그 그룹의 설정을 사용합니다.

여러 사용자 그룹에 속한 경우

그룹 재정의에는 이름, 선택적인 설명, 기본 비율과 모델별 설정을 넣을 수 있습니다. 사용자가 지정한 그룹 중 하나에 속하면 해당 재정의의 대상이 됩니다.

여러 그룹 재정의가 적용되면 그 사용자와 모델에 대해 계산된 가장 높은 한도를 사용합니다. 가상의 인스턴스 사용자 기본값이 40%이고, 사용자가 속한 두 그룹의 재정의가 10%와 35%이면 그룹 한도 중 높은 35%를 적용합니다.

그룹 재정의가 제거되어 더 이상 적용할 그룹 설정이 없으면 인스턴스 전체의 사용자 설정으로 돌아갑니다. 그 설정도 없으면 모델별 공개 기본값으로 돌아갑니다.

그룹 재정의는 고사용량 사용자, 대화형 애플리케이션 뒤의 서비스 계정, 지속적인 처리량이 필요한 팀에 다른 한도를 제공하는 데 사용합니다. 반대로 운영 모델의 용량을 보호하기 위해 사용자 한도를 낮출 수도 있습니다.

예약 용량

예약 용량(Reserved capacity)은 특정 모델의 전체 TPM과 RPM에서 일부를 따로 확보하고 프로젝트에 배정하는 기능입니다. 중요한 운영 작업에 일정량을 확보할 때 사용합니다.

• 모델별 전체 용량에서 일정한 TPM과 RPM을 예약합니다.
• 프로젝트마다 예약된 용량 안에서의 비율을 배정합니다.
• 프로젝트는 배정된 예약 용량을 먼저 사용합니다.
• 예약 용량을 다 쓰면 프로젝트와 인스턴스 한도가 적용되는 공유 용량으로 넘어갑니다.

한도와 권한

모든 모델에서 예약 용량을 사용할 수 있습니다. 새로 예약할 수 있는 양은 모델 전체 용량의 최대 50%입니다. 나중에 전체 용량이 줄면 기존 예약량은 유지하되, 줄어든 전체 용량의 95%를 넘을 수는 없습니다.

resource management administrator 권한이 있는 사용자가 예약하고 프로젝트별로 배정합니다.

공유 상한과 예약의 차이

다음은 전체 용량이 100만 TPM인 가상의 모델과 운영 애플리케이션의 예입니다.

예약 후에도 전체 용량은 100만 TPM이며, 그 일부가 해당 프로젝트에 전용으로 배정됩니다.

먼저 사용량 화면에서 경쟁하는 리소스를 찾고 실행 시간을 분산하거나 다른 모델로 옮길 수 있습니다. 그 뒤에도 중요한 작업의 용량 확보가 필요하면 예약을 사용합니다.

가용성과 비용

예약 용량은 공유 풀의 경쟁과 프로젝트 또는 인스턴스 한도에 따른 요청 제한을 줄이지만, 모델 서비스의 100% 가용성을 보장하지는 않습니다. 과거 1년의 AIP 운영 분석에서 예약 용량으로 충족한 가동률은 99.9% 수준이었고, LLM 요청 실패의 99% 이상이 인스턴스나 프로젝트 한도와 관련되었습니다. 이 수치는 과거 운영 실적이며 현재 요청이나 고객별 계약에 적용할 가용성 보장값이 아닙니다.

예약 기능 자체에는 추가 요금이 없으며 사용한 토큰에 따라 비용이 발생합니다. 향후 새 사용 사례나 특정 모델의 정책이 바뀔 수 있지만, 기존 워크플로의 예약 용량 사용에 요금을 소급하여 부과하지는 않습니다.

대화형 요청의 우선 처리

AIP는 배치 요청보다 대화형 요청을 우선합니다.

인스턴스와 프로젝트 수준에서 용량의 20%는 대화형 요청을 위해 확보합니다. 배치는 최대 80%까지 사용할 수 있습니다.

예를 들어 모델 용량이 100,000 TPM이면 배치는 최대 80,000 TPM을 사용하고, 대화형 요청에는 최소 20,000 TPM이 남습니다. 20%는 대화형 요청을 위한 최소 확보 비율이며, 배치가 사용하지 않는 용량도 대화형 요청에 사용할 수 있습니다.

한도에 반복해서 도달할 때

• 특정 프로젝트가 전체 용량을 소모하지 않도록 프로젝트 한도를 조정합니다.
• 배치 파이프라인 때문에 대화형 작업이 제한되는지 확인합니다. 배치 프로젝트를 제한하거나 필요한 리소스를 별도 프로젝트와 한도로 분리합니다.
• 큰 빌드가 동시에 실행되지 않도록 시간과 주기를 분산합니다. 가능한 경우 대규모 빌드는 주말 등 여유 있는 시간대로 옮깁니다.
• 사용이 적은 다른 모델로 옮길 수 있는지 품질과 기능을 함께 검토합니다.
• 더 큰 인스턴스 등급이 필요한지 검토합니다.

운영·시험·실험 프로젝트 구성 예시

다음은 여러 업무를 하나의 인스턴스에서 관리하는 가상의 구성입니다.

1. 처음에는 운영 사례 하나를 Production 한도에 넣고 100%를 허용합니다.
2. 시험 사례를 Testing의 30% 한도에 넣고, 운영 한도를 90%로 낮춰 시험용 여유를 둡니다.
3. 첫 운영 사례가 GPT-5, 두 번째가 Claude Sonnet 4.6을 사용한다면 모델별 용량이 독립적이므로 같은 Production 설정을 적용할 수 있습니다.
4. 실험 프로젝트 두 개를 각각 20%의 Experimentation 설정에 넣습니다. 시험 프로젝트와 실험 프로젝트 둘의 상한 합계는 70%이며, 실제 분당 사용량은 실행 상황에 따라 달라집니다.
5. 사용자 귀속 요청이 운영 모델을 소모하지 않도록 GPT-5와 Claude Sonnet 4.6의 사용자 한도를 10%로 낮추고, 실험용 Claude Opus 4.6과 GPT-5.4의 사용자 한도는 높일 수 있습니다.
6. User folders 용량을 0%로 두어 개인 폴더보다 공동 프로젝트에서 개발하도록 유도하고, 지정 사용자에게 Control Panel의 AIP 개발 기능 권한을 부여할 수 있습니다.

User folders의 0%는 리소스의 용량 설정입니다. 사용자 귀속 요청의 TPM이나 RPM을 0으로 설정하는 것은 지원하지 않습니다.

같은 한도 설정을 프로젝트별로 적용하는 이유는 모든 프로젝트가 동시에 최대 용량을 사용하는 경우가 드물기 때문입니다. 여러 고객의 장기간 운영에서는 한도 설정 전체에 단일 공유 상한을 두지 않아도 되는 경우가 대부분이었습니다. 실제 사용량이 한도를 초과하면 요청은 제한과 재시도 동작의 영향을 받습니다.

비용 보기

Resource Management의 Analysis에서 Filter by source: All LLMs, Group by source를 선택하면 모델별로 나눈 일 단위 LLM 비용을 볼 수 있습니다.

토큰 사용량이 늘면 용량에 여유가 있어도 비용이 증가할 수 있습니다. 등록 모델의 외부 제공자 비용은 Resource Management에 표시되지 않습니다.

지역 제한과 공급자 용량

모델 제공자마다 TPM, RPM과 제공 지역이 다릅니다. Palantir가 여러 제공자의 용량을 사용하더라도 제공자 자체의 한도를 우회할 수는 없습니다.

Palantir 제공 모델에는 데이터 비보존(ZDR)과 지역별 처리 요건이 적용됩니다. Azure OpenAI, AWS Bedrock, Google Vertex와 Palantir 호스팅 모델은 지역 제한을 지원하지만, 특정 지역으로 제한하면 확보 가능한 용량이 줄어들 수 있습니다. OpenAI Direct, Anthropic Direct, xAI 등은 제공 지역의 선택 폭이 더 좁을 수 있습니다.

• 적격한 모델 제공자를 더 활성화하면 활용할 수 있는 용량 풀이 커질 수 있습니다.
• 지역 제한이 없는 인스턴스는 더 넓은 용량 풀을 사용할 수 있습니다.
• 새 모델은 출시 초기에 용량이나 지역 가용성이 제한될 수 있습니다.
• 수백만 개 이상의 항목을 처리하는 큰 파이프라인은 용량 관리가 특히 어렵습니다.
• 처리 중 데이터를 보관해야 하는 제공자 Batch API는 데이터 비보존 요건과 맞지 않아 제공되지 않는 경우가 있습니다. 이는 AIP에서 배치 파이프라인을 실행할 수 없다는 뜻은 아닙니다.

지역 제한 변경은 법률과 계약상 허용 여부를 먼저 확인한 뒤 Palantir 담당 팀과 검토해야 합니다. 용량 확보를 이유로 데이터 처리 지역 요건을 임의로 해제해서는 안 됩니다.