AIP Analyst 연산 사용량

한 질문이 여러 모델 호출과 Foundry 조회를 발생시킵니다. 비용은 모델의 입력 및 출력 토큰과 도구가 요청한 Foundry 연산으로 나뉩니다. 기업 계약이 있다면 연산 비용을 계산하기 전에 Palantir 담당자에게 계약 조건을 확인합니다.

모델 토큰

매 호출에는 시스템 지시문, 사용자 메시지, 활성 도구 정의와 아직 문맥에 남아 있는 이전 도구 결과가 들어갑니다. 모델 응답과 확장 추론은 출력 토큰으로 계산합니다. 이전 내용이 반복 전송되므로 긴 분석의 후반 질문은 앞부분보다 더 많은 입력 토큰을 사용할 수 있습니다.

객체 수천 개, 넓은 SQL 결과와 긴 PDF처럼 큰 도구 결과가 문맥에 들어가면 제거할 때까지 후속 호출마다 다시 전송됩니다. 사용하지 않는 도구도 정의가 포함되는 만큼 비용이 발생합니다. 모델별 토큰의 compute-seconds 환산율은 AIP 연산 사용량을 확인합니다. 저장 분석이 모델 범주를 사용한다면 범주에 연결된 모델이 바뀌어 환산율도 달라질 수 있습니다.

도구별 Foundry 연산

도구 범주	실제 작업을 수행하는 시스템
Ontology	온톨로지 조회 계층.
Actions	온톨로지 쓰기 반영.
Datasets	데이터셋 SQL.
Functions	함수 실행.
Time series	시계열 조회 계층.
Media	미디어 집합 변환과 다운로드.
Contour	Contour 분석.
Quiver, Notepad	해당 리소스에 포함된 온톨로지 조회 등 애플리케이션 작업.
Workshop, Machinery	모듈 구성이나 프로세스 그래프 메타데이터를 읽는 토큰.
Visualization, Planning	결과를 생성하고 읽는 모델 토큰.

Create visualization, Context cleanup, Workshop lookup, Machinery lookup 자체는 별도 조회 백엔드의 데이터 쿼리를 실행하지 않습니다. 다만 메타데이터에서 발견한 객체 유형, 함수나 액션으로 후속 작업을 수행하면 해당 범주의 비용이 발생합니다.

Analyst의 온톨로지 도구는 Object Explorer, Workshop, OSDK와 같은 조회 계층 및 측정 방식을 사용합니다. 동일한 집계 요청의 과금 방식은 같지만, 처음 보는 온톨로지를 탐색하는 에이전트는 고정된 앱보다 많은 검색과 중간 조회를 수행할 수 있습니다. 분석 중 만든 Quiver 대시보드나 Contour 분석은 이후 누군가 열 때마다 자체 연산을 사용하며 그 리소스에 비용이 귀속됩니다.

귀속 대상

LLM 토큰은 저장 분석에서는 분석 리소스에, 임베드 분석에서는 이를 포함한 Workshop 모듈 같은 소유 리소스에 귀속합니다. 미저장 분석은 기본적으로 실행 사용자에게 귀속하며 Unsaved analysis cost attribution을 설정하면 지정 프로젝트에 귀속합니다.

도구가 다른 애플리케이션에 위임한 연산은 그 애플리케이션의 귀속 규칙을 따릅니다. 온톨로지 조회는 발생 지점의 리소스가 있으면 해당 리소스에, 없으면 조회한 객체 유형에 귀속합니다.

사용량 확인

세션의 토큰 추정기는 현재 문맥 크기를 보여 줍니다. Outline에서는 각 도구 호출의 토큰 사용량을 확인할 수 있습니다. Control Panel에서 AIP Token Usage 데이터셋을 내보내면 모델과 리소스별 일일 토큰 소비를 분석할 수 있습니다. Resource Management에서는 프로젝트 및 리소스별 compute-seconds를 확인하고 AIP 사용 지표로 시간에 따른 모델 요청을 추적합니다.

소비량 줄이기

큰 도구 결과가 더 필요하지 않으면 Context cleanup을 사용하거나 Outline에서 숨깁니다. 관련 없는 새 질문은 긴 대화에 계속 붙이지 말고 새 탭에서 시작합니다. 많은 객체를 불러와 모델이 요약하게 하기보다 Ontology aggregation이나 Ontology SQL로 먼저 집계하면 문맥이 줄어듭니다.

검색 온톨로지, 객체 유형 그룹, 프로젝트, 상태와 표시 수준을 좁힙니다. 필요한 객체 유형이나 데이터셋을 먼저 넣으면 탐색 검색을 줄일 수 있습니다. Workshop 위젯에서는 문맥을 미리 제공하고 도구를 고정하여 예측 가능한 분석을 구성합니다.

큰 모델과 작은 모델의 환산율은 10배 이상 차이 날 수 있습니다. 어려운 추론에 적합한 모델과 일상 조회 및 요약에 필요한 모델을 구분합니다. 질문이 정해진 임베드 흐름에서는 모델을 명시하고 선택기를 숨겨 모델 변경에 따른 소비량 차이를 제한할 수 있습니다.

도구, 스킬, 함수와 코드 기반 에이전트

방식	모델 문맥과 적합한 작업
통합 도구	각 중간 결과가 문맥에 들어가고 단계마다 모델 호출이 필요합니다. 절차가 정해지지 않은 탐색 질문에 적합합니다. Graph에서 단계를 검토할 수 있습니다.
스킬	재사용 지시를 읽고 통합 도구로 수행합니다. 불필요한 단계를 줄이고 접근 방법을 통일하지만 스킬 자체가 Foundry 연산을 줄이지는 않습니다.
함수	`Execute function` 한 번의 입력과 반환값만 문맥에 들어갑니다. 고정된 다단계 조회나 반복 업무 계산을 구현하여 중간 데이터를 모델에 보내지 않을 수 있습니다. 함수의 연산은 함수에 귀속됩니다.
코드 기반 에이전트	세션 밖에서 자체 모델 루프를 비동기로 실행합니다. 대화 세션을 기다리게 하지 않아야 하는 장시간 또는 자율 작업에 적합합니다.

안정된 계산은 함수에 구현하고 Analyst는 결과 해석과 표현을 맡길 수 있습니다. 함수의 결정성은 구현에 달려 있으며 LLM을 호출하는 함수에 결정성을 가정해서는 안 됩니다.

게시된 코드 기반 에이전트 함수는 Void를 반환하므로 Analyst의 조회 함수처럼 결과를 직접 돌려줄 수 없습니다. 에이전트가 온톨로지 객체에 결과를 쓰고 Analyst가 그 객체를 읽는 경로로 연결합니다. 비동기 에이전트에는 동기 함수의 실행 시간 제한이 적용되지 않습니다.

Keyboard shortcuts