자체 인프라에서 모델 운영하기
오픈소스나 사용자 지정 LLM을 자체 인프라에서 실행하고, 연산 모듈(Compute module)에 연결된 등록 모델로 AIP에 제공할 수 있습니다.
자체 호스팅을 선택하는 이유
| 필요 | 자체 호스팅의 활용 |
|---|---|
| 데이터 주권 | 추론 요청을 자체 네트워크 경계 안에서 처리하도록 구성 |
| 온프레미스 또는 망분리 | 외부 연결 없이 모델을 실행할 환경 구성 |
| 비용 관리 | 외부 호스팅 서비스의 토큰별 요금 대신 자체 GPU 사용 |
| 새 모델의 조기 활용 | 호스팅 제공자에 추가되기 전에 공개된 오픈소스 모델 배포 |
자체 호스팅을 운영하려면 컴퓨팅 자원과 모델 서버를 유지하는 데 드는 비용도 계산해야 합니다.
배포와 등록 순서
- vLLM이나 Ollama 같은 추론 서버가 모델 가중치를 제공하도록 컨테이너 이미지를 만듭니다. 서버는 지원되는 제공자 API 형식을 노출해야 합니다.
- Dockerfile의
application.port라벨에 실제 수신 포트를 지정하고 이미지를 Artifacts에 게시합니다. - 게시한 이미지로 연산 모듈을 만들고 최소 복제본 수를 1개 이상으로 설정합니다.
- Control Panel → AIP settings → Registered models에서 모델을 등록하고 기능을 구성합니다.
- 지원되는 AIP 애플리케이션의 모델 선택기에서 등록한 모델을 선택합니다.
망분리 환경에서는 컨테이너 이미지와 모델 가중치를 포함해 실행에 필요한 파일을 환경 안에 미리 준비해야 합니다.
등록에는 플랫폼 인스턴스 관리자 역할이 필요합니다. Model ID, 실제 지원 기능, 데이터 접근 정책과 처리량 한도의 세부 설정은 연산 모듈로 모델 서버 연결하기를 따릅니다.