AIP 토큰과 연산 사용량

LLM은 입력과 출력을 토큰 단위로 처리합니다. AIP는 모델별 토큰 사용량을 연산초(Compute-seconds)로 환산하여 사용량을 계산합니다. 같은 토큰 수라도 모델과 Foundry 지역, 적용 계약에 따라 환산량이 다를 수 있습니다.

토큰은 단어나 글자와 다릅니다

토큰은 모델이 텍스트를 처리하는 단위입니다. 한 글자, 단어의 일부, 단어 하나 또는 문장부호가 하나의 토큰이 될 수 있습니다. 공백과 대소문자도 분할 결과에 영향을 줍니다.

토큰 수는 단어 수와 일대일로 대응하지 않습니다. 자주 쓰이는 단어는 하나의 토큰일 수 있지만 길거나 드문 단어는 여러 토큰으로 나뉠 수 있습니다. 제공자와 모델의 인코딩, 언어에 따라 같은 문장의 토큰 수가 달라집니다.

영어 텍스트에서 한 토큰을 약 네 글자로 보는 추정법이 있지만 정확한 계산법은 아닙니다. 특히 한국어를 포함한 다른 언어에 그대로 적용하면 안 됩니다. AIP는 텍스트를 기반 LLM으로 보내고 해당 모델이 토큰화를 수행합니다.

토큰을 사용하는 기능

다음 기능은 LLM을 사용하는 작업에서 토큰을 소비합니다.

• AIP Assist
• AIP Logic
• AIP Error Enhancer
• AIP Code Assist
• AIP Analyst
• AI FDE
• Workshop의 LLM 기반 도구
• Quiver의 LLM 기반 도구
• Pipeline Builder의 LLM 기반 도구
• Python 및 TypeScript 라이브러리를 포함한 Language Model Service 직접 호출

입력과 출력을 별도로 계산

입력 토큰과 출력 토큰에는 서로 다른 환산율이 적용될 수 있습니다. 환산율이 토큰 1만 개 기준일 때 기본 계산은 다음과 같습니다.

입력 연산초 = 입력 토큰 수 × 입력 환산율 / 10,000
출력 연산초 = 출력 토큰 수 × 출력 환산율 / 10,000
합계 연산초 = 입력 연산초 + 출력 연산초

연산초는 여기서 사용량을 환산한 단위입니다. 요청이 실제로 그 시간 안에 완료된다는 의미는 아닙니다.

24토큰 입력 계산 예시

다음 문장은 공백과 문장부호를 포함하여 139자입니다.

AIP incorporates all of Palantir's advanced security measures for the protection of sensitive data in compliance with industry regulations.

다음은 이 문장을 24토큰으로 나눈 예시입니다. 세로줄은 토큰의 경계를 표시하며 실제 입력에 포함되는 문자가 아닙니다.

A|IP| incorporates| all| of| Pal|ant|ir|'s| advanced| security| measures| for| the| protection| of| sensitive| data| in| compliance| with| industry| regulations|.

GPT-4o의 북미 지역 입력 환산율인 1만 토큰당 43연산초를 적용하면 입력 사용량은 다음과 같습니다.

24 × 43 / 10,000 = 0.1032연산초

이는 입력만의 사용량입니다. 모델이 생성하는 응답에는 출력 토큰 환산율이 별도로 적용됩니다.

사용량이 어느 리소스에 귀속되는가

LLM 토큰으로 발생한 사용량은 요청한 애플리케이션 리소스에 귀속됩니다. Pipeline Builder에서 파이프라인 설명을 생성하면 그 파이프라인의 사용량으로 기록됩니다.

AIP Assist나 Error Explainer처럼 하나의 리소스에 귀속하기 어려운 경우에는 토큰 사용을 시작한 사용자의 폴더에 귀속됩니다.

연산 비용을 귀속하는 기준은 프로젝트 또는 사용자별 처리량 한도를 적용하는 기준과 다를 수 있습니다. 예를 들어 Pipeline Builder의 Explain은 사용자별 처리량 한도를 적용합니다. 자세한 기준은 LLM 용량 관리에서 확인할 수 있습니다.

입력과 출력의 범위가 사용량에 직접 영향을 줍니다.

사용량 데이터 내보내기

플랫폼 인스턴스의 사용량을 자세히 분석하려면 Control Panel → Internal dataset export에서 AIP Token Usage 데이터셋을 내보냅니다.

이 데이터셋에는 모델과 리소스별 일 단위 토큰 소비량, 연산초 및 통화 기준 사용량이 포함됩니다. 리소스별 귀속 정보를 이용하여 어떤 워크플로가 비용을 발생시키는지 분석할 수 있습니다.

모델·지역별 환산율

다음 환산율은 AWS에서 호스팅되는 Foundry의 일부 기본 계약 조건에 해당하며, 모든 고객에게 적용되지 않습니다. 실제 적용 환산율은 고객의 Palantir 계약 담당자에게 확인해야 합니다.

단위는 입력 또는 출력 1만 토큰당 연산초입니다. 모델 이름에 표시한 토큰 구간을 구분해야 하며, 비슷한 모델 이름의 행을 임의로 합쳐 사용하면 안 됩니다. N/A는 해당 열의 환산율이 정의되어 있지 않다는 표시로, 숫자 0으로 계산하지 않습니다.

모델별 환산율과 별도로, 현재 인스턴스의 모델군 활성화 상태와 제공 범위를 확인합니다.