연산 모듈로 모델 서버 연결하기
연산 모듈(Compute module)에서 LLM 서버를 운영하고 AIP의 등록 모델로 연결할 수 있습니다. 등록한 모델은 지원되는 애플리케이션의 모델 선택기에 Palantir 제공 모델이나 REST API 등록 모델과 함께 표시됩니다.
사용하는 경우
| 목적 | 활용 |
|---|---|
| 자체 컴퓨팅에서 모델 운영 | 자체 GPU, 온프레미스나 망분리 환경에서 오픈소스 또는 사용자 지정 모델을 실행. 데이터 주권, 비용 관리, 새 모델의 조기 활용 등에 대응 |
| 사용자 지정 프록시 또는 연합 계층 | API 형식 변환, 프롬프트 주입, 외부 전송 전 데이터 가림 처리, 여러 제공자에 대한 요청 분배를 하나의 등록 모델 뒤에서 구현 |
여기서 프롬프트 주입은 관리자가 모델 호출 앞에 필요한 지침이나 맥락을 덧붙이는 중간 계층의 기능을 뜻하며, 공격자가 신뢰할 수 없는 내용으로 지침을 바꾸는 공격과 구분합니다.
등록 전 요구 사항
제공자 API 형식
컨테이너는 지원되는 제공자 API 형식에 맞는 모델 API를 제공해야 합니다. vLLM이나 Ollama 같은 추론 서버는 호환 API를 제공합니다. 모델이 지원할 기능과 엔드포인트를 함께 확인합니다.
애플리케이션 포트
Dockerfile에 모델 서버가 실제로 수신하는 포트를 application.port 라벨로 지정합니다. 다음은 8000번 포트를 사용하는 경우입니다.
LABEL application.port='8000'
최소 복제본
연산 모듈의 최소 복제본 수를 1개 이상으로 설정합니다.
모델 등록
등록 작업에는 플랫폼 인스턴스 관리자(Enrollment administrator) 역할이 필요합니다. 연산 모듈이 실행 중인 상태에서 다음을 진행합니다.
- Control Panel → AIP settings → Registered models를 엽니다.
- Register a model을 선택합니다.
- 모델의 소스로 해당 연산 모듈을 선택합니다.
- Model ID에 모델 서버가 기대하는 식별자를 입력합니다. 예를 들어 추론 서버가 사용하는 모델 이름입니다.
- 실제 지원하는 모델 기능을 지정합니다. Reasoning, Structured outputs, Tool calling을 지원하고 활성화하면 AI FDE와 AIP Analyst에서 사용할 수 있습니다.
- 필요한 경우 Data access 정책을 지정합니다. 지정하지 않으면 인스턴스 정책을 사용하며, 지정하면 인스턴스 정책을 완전히 대체합니다.
- 인스턴스 수준과 사용자별 처리량 한도를 정의합니다.
- 플랫폼 인스턴스 전체 또는 특정 사용자 그룹에 등록 모델 접근을 활성화합니다.
등록 이후의 사용 권한, 처리량 관리 및 애플리케이션 지원 범위는 자체 모델 연결과 같습니다. 데이터 접근 정책은 강제 접근 보안 표지 검사에 따라 구성합니다.