LLM 제공자 호환 API

Foundry는 모델 제공자의 API와 같은 요청 형식을 받는 프록시 엔드포인트를 제공합니다. 제공자용 SDK나 도구를 활용하면서 Foundry의 처리량 제한, 데이터 거버넌스와 사용량 추적을 적용할 수 있습니다.

엔드포인트

다음 경로는 Foundry 인스턴스의 주소를 기준으로 사용합니다.

제공자 API	Foundry 경로	상태
Anthropic Messages	`/api/v2/llm/proxy/anthropic/v1/messages`	제공
OpenAI Chat Completions	`/api/v2/llm/proxy/openai/v1/chat/completions`	제공
OpenAI Responses	`/api/v2/llm/proxy/openai/v1/responses`	제공
OpenAI Embeddings	`/api/v2/llm/proxy/openai/v1/embeddings`	제공
xAI Chat Completions	`/api/v2/llm/proxy/xai/v1/chat/completions`	베타
xAI Responses	`/api/v2/llm/proxy/xai/v1/responses`	베타
Google Generate Content	`/api/v2/llm/proxy/google/v1/models/{model}:generateContent`	베타
Google Stream Generate Content	`/api/v2/llm/proxy/google/v1/models/{model}:streamGenerateContent?alt=sse`	베타

xAI와 Google 엔드포인트는 개발 중인 베타 기능입니다. 해당 제공자의 모든 필드와 기능을 지원하는 것은 아닐 수 있습니다.

Palantir 제공 모델을 사용하려면 플랫폼 인스턴스에 AIP가 활성화되어 있고, 사용자에게 사용자 지정 AIP 워크플로를 사용할 권한이 있어야 합니다.

인증에는 Foundry 토큰을 사용합니다.

Authorization: Bearer {FOUNDRY_TOKEN}

요청 본문은 대응하는 제공자 API의 형식으로 구성합니다. 제공자 SDK의 기본 인증 방식과 Foundry 프록시의 인증 방식은 다를 수 있습니다.

Anthropic처럼 별도 인증 헤더를 사용하는 SDK는 Bearer 토큰을 보내도록 설정을 바꿔야 할 수 있습니다.
OpenAI처럼 이미 Bearer 토큰 인증을 사용하는 SDK는 인증 방식 자체를 바꾸는 추가 설정이 필요하지 않습니다. 호출 대상은 Foundry 주소로, 인증 값은 Foundry 토큰으로 지정해야 합니다.

OpenAI와 Anthropic SDK를 연결할 때에는 프록시 API의 SDK 버전과 실행 조건을 확인합니다.

Google의 streamGenerateContent 프록시는 현재 서버 전송 이벤트(SSE) 응답만 지원합니다. 따라서 alt=sse 쿼리 매개변수를 반드시 지정합니다.

프록시 엔드포인트에는 다른 AIP 사용과 같은 데이터 거버넌스가 적용됩니다. Palantir 제공 모델의 데이터 비보존(ZDR) 및 지역 제한 요건을 지키는 기능만 선택적으로 활성화합니다.

인스턴스에서 활성화한 모델과 제공자만 사용할 수 있습니다. 같은 모델을 여러 제공자가 서비스하더라도 요청은 활성화된 제공자에게만 전달됩니다.

엔드포인트 사용량은 Resource Management에서 볼 수 있으며 LLM 처리량 한도가 적용됩니다.