언어 모델 프록시 API
Foundry의 언어 모델 프록시는 공급자 API 형식으로 요청을 받아 모델에 전달합니다. OpenAI 또는 Anthropic SDK를 사용하면서 Foundry의 사용량 제한, 데이터 거버넌스와 사용량 추적을 적용할 수 있습니다. model에는 공급자의 모델 이름 대신 Model Catalog의 모델 RID를 지정합니다.
| API | HTTP 경로 | 입력과 결과 |
|---|---|---|
| Anthropic Messages | /api/v2/llm/proxy/anthropic/v1/messages | 메시지 목록을 전달하고 콘텐츠 블록을 받습니다. |
| OpenAI Chat Completions | /api/v2/llm/proxy/openai/v1/chat/completions | 대화 메시지를 전달하고 choices 목록을 받습니다. |
| OpenAI Responses | /api/v2/llm/proxy/openai/v1/responses | 입력을 전달하고 output 항목을 받습니다. |
| OpenAI Embeddings | /api/v2/llm/proxy/openai/v1/embeddings | 입력 텍스트의 임베딩을 받습니다. |
모든 요청은 POST이며 Foundry Bearer 토큰으로 인증합니다. OAuth2 애플리케이션은 api:use-language-models-execute 권한 범위를 요청해야 합니다. 각 장의 모델 RID와 Hello, world 입력은 예시입니다. 사용할 모델과 접근 가능 여부는 Model Catalog에서 확인합니다.
데이터 거버넌스와 사용량
다른 AIP 사용과 마찬가지로 무보존(Zero Data Retention, ZDR)과 지역 제한 같은 요구사항을 적용합니다. 공급자 API의 기능 중 이 요구사항과 호환되는 기능을 선택적으로 활성화합니다. SDK가 제공하는 모든 기능을 모든 Foundry 모델에서 사용할 수 있는 것은 아닙니다. 사용량은 Resource Management에서 확인하며 요청에는 사용량 제한이 적용됩니다.
Python 실행 환경
Python 예제는 foundry_sdk.v2.language_models.utils의 프록시 헬퍼를 사용합니다. 호스트와 토큰이 제공되는 Foundry 실행 맥락에서 사용해야 합니다. 헬퍼에 preview=True를 전달하지 않으면 ValueError가 발생하고, 필요한 실행 맥락이 없으면 RuntimeError가 발생합니다. 외부 환경에서 직접 호출할 때는 각 장의 cURL 예제처럼 호스트와 토큰을 명시합니다.
Python 예제는 foundry-platform-sdk==1.110.0과 공급자 SDK인 openai==2.11.0, anthropic==0.103.0을 사용합니다. 이 Foundry SDK의 get_http_client(preview=True)는 httpx.Client 기반 클라이언트를 반환하며 두 공급자 SDK 버전 모두 이를 받습니다. Anthropic 1.x는 httpx2 기반 클라이언트를 요구하므로 이 HTTP 클라이언트를 그대로 넘길 수 없습니다.
Foundry HTTP 클라이언트와 TypeScript의 PlatformClient.fetch는 현재 실행 맥락의 사용량 귀속과 추적 헤더를 전파합니다. TypeScript 예제에는 인증된 실제 PlatformClient를 전달하며 서버 측 환경에서 공급자 SDK를 사용합니다. 예제 함수는 응답 객체 전체를 반환하므로 호출자가 콘텐츠 유형, 종료 상태와 사용량을 함께 확인할 수 있습니다.