모델 프록시와 여러 제공자 연결 계층

모델 프록시는 AIP와 외부 모델 제공자 사이에서 요청을 받아 처리한 뒤 전달하는 중간 계층입니다. 연산 모듈에서 프록시를 실행하면 어떤 데이터를 외부로 보낼지, 어떤 제공자에게 요청을 전달할지 직접 제어할 수 있습니다.

여러 제공자를 하나의 등록 모델 뒤에 연결하는 연합 계층(Federation layer)도 같은 방식으로 구성할 수 있습니다.

활용 목적

목적	중간 계층에서 수행하는 처리
개인정보 가림 처리	외부 전송 전에 프롬프트의 민감한 정보를 제거하거나 가림
프롬프트 보강	시스템 프롬프트를 앞에 넣거나 지침을 추가하고 요청 내용을 변환
API 형식 변환	AIP가 사용하는 제공자 형식과 외부 모델이 사용하는 형식 사이를 변환
여러 제공자 연결	비용, 지연 시간과 모델 가용성에 따라 요청을 다른 제공자로 전달

개인정보 가림 처리와 제공자 간 라우팅 등의 로직은 프록시 컨테이너에 직접 구현합니다.

Data Connection 소스에 모델 제공자와 통신할 네트워크 정책을 구성하고, API 키 등 필요한 비밀정보를 연결합니다. 컨테이너는 실행 중 SOURCE_CREDENTIALS 환경변수를 통해 인증정보에 접근합니다.

자체 모델을 내부에서만 실행하는 구성과 달리 프록시는 외부 제공자에게 요청을 전송합니다. 데이터 주권과 외부 전송 제한을 검토할 때 두 방식을 구분해야 합니다.

지원되는 제공자 API 형식을 받는 컨테이너를 만듭니다. AIP 요청을 받은 뒤 가림 처리, 라우팅이나 프롬프트 보강을 수행하고 외부 제공자에 전달하도록 구현합니다.
Data Connection에서 외부 제공자로의 통신을 허용한 소스를 만들고 API 키 등의 비밀정보를 연결합니다.
Dockerfile의 application.port 라벨을 설정하고 이미지를 Artifacts에 게시합니다.
해당 이미지로 연산 모듈을 만들고 소스를 연결합니다. 최소 복제본 수는 1개 이상으로 설정합니다.
Control Panel에서 연산 모듈을 모델 소스로 등록하고 지원 기능을 구성합니다.
지원되는 AIP 애플리케이션에서 등록 모델을 선택합니다.

등록 권한과 Model ID, 데이터 접근 및 처리량 설정은 연산 모듈로 모델 서버 연결하기에서 설명합니다.