AIP Logic 연산 사용량

Logic 리소스는 하나 이상의 블록으로 구성됩니다. 필요한 블록을 실행하여 결과를 만들고 블록의 도구가 온톨로지 조회, 함수와 액션을 호출할 수 있습니다. 블록은 Logic 사용량 측정 단위이며 호출한 다른 시스템의 연산은 별도로 발생할 수 있습니다. 기업 계약이 있으면 비용 계산 전에 Palantir 담당자에게 계약 조건을 확인합니다.

사용량 구성

LLM 토큰은 모델의 토큰 계산 방식에 따라 프롬프트와 응답 크기 및 호출 횟수로 측정합니다. 모델별 환산율은 AIP 연산 사용량을 적용합니다.

기본 LLM 블록 실행에는 최소 4 compute-seconds, LLM 블록의 도구 실행에는 최소 8 compute-seconds가 발생합니다. 온톨로지 조회나 함수 등으로 처리를 넘기면 해당 시스템의 연산이 더해집니다. LLM을 거치지 않는 액션, 함수 및 데이터 변환 블록 자체에는 이 Logic 블록 사용량이 발생하지 않지만 호출된 시스템의 비용까지 없다는 뜻은 아닙니다.

사용량 관리

온톨로지에서 큰 텍스트를 가져올 때는 관련 부분만 프롬프트에 넣습니다. 큰 문서 전체보다 필요한 내용을 제공하면 토큰 소비를 줄일 수 있습니다.

프로그램으로 반복 실행하는 함수는 블록 수와 실행 빈도가 빠르게 늘 수 있습니다. 적합한 경우 여러 LLM 단계를 하나의 프롬프트로 합치고 추가 블록은 필요한 경우에 사용합니다. 반대로 문맥 한도나 결과 불안정 때문에 나눌 필요도 있으므로 블록 구성 판단을 함께 고려합니다.

조회, 액션, 함수와 데이터 변환 호출 수를 파악합니다. 재시도나 매 실행의 다수 도구 호출은 다른 Foundry 앱의 연산량을 늘립니다.

계산 예시

가상의 리소스에 LLM 블록이 두 개 있고 그중 하나가 액션 도구를 한 번 호출한다고 가정합니다. 전체를 두 번 실행하면 Logic 블록 및 도구의 최소 사용량은 다음과 같습니다. 모델 토큰 및 외부 Foundry 연산은 이 합계에 포함하지 않습니다.

Number of LLM blocks: 2
Number of LLM blocks that call actions: 1
Number of runs: 2

1 run compute-seconds = 2 LLM blocks * 4 compute-seconds + 1 action block * 8 compute-seconds
1 run compute-seconds = (2 * 4) + (1 * 8)
1 run compute-seconds = 16 compute-seconds

2 runs = 2 * 16 compute-seconds = 32 compute-seconds

Total = 32 compute-seconds