자체 모델과 모델 계정 연결
자체 모델 연결(Bring your own model, BYOM)은 고객이 보유한 LLM이나 모델 제공자 계정을 AIP에 연결하는 기능입니다. 자체 학습한 모델과 고객 계정으로 제공받는 외부 모델을 모두 등록 모델(Registered model)로 관리할 수 있습니다.
일반적인 용도에는 Palantir가 제공하는 모델을 사용하는 편이 통합과 운영이 단순합니다. 법률이나 규정 준수 조건 때문에 해당 모델을 사용할 수 없거나, 고객이 미세 조정한 모델이나 고유한 모델이 필요할 때 등록 모델을 고려합니다.
등록 모델 구현
2026년 3월 도입된 등록 모델 구현은 일반적인 모델 제공자 API에 맞춘 연결을 제공합니다. 네이티브 도구 호출과 추론 기능을 지원하고, 모델 선택기, 처리량 한도, 사용량 관측과 접근 제어를 AIP에 통합합니다. AI FDE와 AIP Analyst 같은 애플리케이션에서도 사용할 수 있습니다.
새 모델을 연결할 때는 현재 등록 모델 방식을 사용하는 것이 권장됩니다. 함수 인터페이스(Function interface)로 LLM을 등록하던 기존 방식과는 구현이 다릅니다. 현재 방식으로 해결되지 않는 사용 사례는 Palantir 지원팀과 검토할 수 있습니다.
지원 범위
| 애플리케이션 또는 기능 | 등록 모델 사용 |
|---|---|
| AI FDE | 지원 |
| AIP Analyst | 지원 |
| AIP Chatbot Studio | 지원 |
| AIP Logic | 지원 |
| Workshop | AIP Chatbot Studio 또는 AIP Logic을 통해 사용 |
| Code Repositories의 TypeScript v2 함수 | 지원 |
| Pipeline Builder의 모델 기반 작업 | 등록 모델 활용 대상. 아래의 내장 보조 기능과 구분 |
| AIP Assist | 지원하지 않음 |
| Code Repositories 안의 AIP Assist 코드 보조 | 지원하지 않음 |
| Pipeline Builder의 Generate, Explain | 지원하지 않음 |
AIP Assist와 Pipeline Builder의 Generate와 Explain은 Palantir 제공 모델을 기준으로 평가하고 시험하는 내장 기능입니다. 임의의 고객 모델에 같은 동작과 품질을 보장할 수 없어 등록 모델을 지원하지 않으며, 현재 이 내장 보조 기능에 등록 모델을 지원할 계획은 없습니다.
등록 모델은 지원되는 AIP 애플리케이션의 모델 선택기에 표시됩니다. Control Panel에서 활성화와 권한을 관리하고, Resource Management에서 처리량 한도와 사용량을 관리합니다.
모델을 연결하는 두 방법
| 연결 방식 | 적합한 경우 |
|---|---|
| REST API 소스 | 표준 제공자 API를 제공하는 외부 모델이나 고객 계정에 연결. 일반적인 외부 모델 연결에 권장 |
| 연산 모듈 | 모델 서버를 직접 운영하거나, 자체 하드웨어·GPU, 온프레미스·망분리 환경 또는 사용자 지정 프록시 계층을 사용 |
연산 모듈(Compute module)에서는 자체 모델 서버를 운영할 수 있습니다. 여러 외부 제공자를 연결하는 중간 계층을 구현하는 용도로도 사용할 수 있습니다.
처리량 한도
등록 모델도 Palantir 제공 모델과 같은 처리량 관리 체계를 사용합니다. 플랫폼 인스턴스 관리자는 등록할 때 인스턴스 수준과 사용자별 한도를 정의해야 합니다.
- 인스턴스 한도는 프로젝트별 한도를 계산하는 전체 기준입니다.
- 프로젝트 한도는 기본적으로 인스턴스 한도의 70%이며 Resource Management의 AIP usage & limits에서 조정합니다.
- 사용자 한도는 AI FDE, AIP Analyst 등 사용자에게 귀속되는 요청의 사용자별 소비를 제한합니다.
프로젝트 귀속 요청과 사용자 귀속 요청에는 서로 다른 한도가 적용됩니다. 자세한 기준은 LLM 용량과 처리량 관리에서 설명합니다.
등록 권한과 사용 권한
새 모델을 등록하거나 등록 정보를 편집하려면 플랫폼 인스턴스 관리자(Enrollment administrator)여야 합니다. Data Connection 소스에 연결한 모델의 등록, 편집 및 삭제 작업에는 해당 소스의 Owner 또는 Editor 권한도 필요합니다.
모델을 등록한 뒤 최종 사용자는 기반 Data Connection 소스의 권한을 받을 필요가 없습니다. 소스 접근과 등록 모델의 사용자 접근이 분리되며, 사용자의 접근은 Control Panel의 등록 모델 활성화 설정으로 관리합니다.
등록 모델로 워크플로를 개발하거나 그 워크플로를 사용할 권한을 플랫폼 인스턴스 전체 또는 특정 사용자 그룹에 부여할 수 있습니다. AIP settings에서 모델을 비활성화하면 AIP 애플리케이션에서 사용할 수 없게 됩니다.
보안 표지 정책
등록 모델은 강제 접근 보안 표지에 따른 데이터 접근 정책을 지원합니다. 모델별 정책이 없으면 인스턴스 정책을 사용하고, 모델별 정책을 설정하면 인스턴스 정책을 완전히 대체합니다.
모델에 Allow any data를 지정하면 인스턴스의 허용 목록을 대체하여 해당 모델에는 목록에 따른 제한을 적용하지 않습니다. LLM 데이터 접근 정책에서 적용 범위를 확인합니다.
비용
Palantir는 등록 모델 사용 자체에 추가 플랫폼 요금을 부과하지 않습니다. 외부 호스팅 모델 호출 비용은 해당 모델 제공자가 고객에게 직접 청구합니다. 등록 모델의 비용은 Resource Management에 표시되지 않습니다.
자체 모델 서버를 선택할 때는 필요한 컴퓨팅 자원과 운영 작업도 함께 고려해야 합니다.