Modeling Objective 온라인 배포의 환경과 한도

이 조건은 목표에서 만든 온라인 배포에 적용합니다. 모델 페이지의 직접 배포는 확장과 기능 범위가 다른 실행 경로입니다.

기본 Python 환경

게시한 모델 어댑터에 구성된 Conda 패키지 및 환경을 모델과 함께 패키징합니다. Palantir는 운영 모델을 제공하는 데 필요한 경량 패키지도 추가합니다.

공개 및 비공개 라이브러리를 모두 가져올 수 있습니다. 공개 라이브러리는 conda-forge 같은 공개 채널에 있어야 하며 Foundry가 해당 채널을 찾도록 구성해야 합니다. Foundry에서 만든 비공개 라이브러리는 Python 라이브러리 게시 절차에 따라 게시해야 합니다.

요청과 시간 한도

기본적으로 요청 하나에 최대 50 MB를 받습니다. 한도는 구성할 수 있으므로 변경이 필요하면 Palantir 담당자에게 문의합니다.

추론은 동기 처리이며 기본 dialog 읽기 시간 제한에 따라 5분 후 시간 초과가 발생합니다.

생성 권한과 모니터링

온라인 배포 생성 권한은 배치 배포 생성 권한과 별도로 제한할 수 있습니다. 환경별 권한 설정은 Palantir 담당자와 확인합니다. 가동 상태는 Monitoring View로 모니터링할 수 있습니다.

확장과 GPU

Palantir의 컨테이너 인프라에서는 트래픽에 따른 확장을 지원합니다. 기본 복제본은 두 개이며 업그레이드 중 가용성을 유지합니다. 기본 CPU와 메모리 규모는 작게 정하며 더 큰 모델이나 요청량에 맞춰 배포별 자원을 바꿀 수 있습니다. 모든 온라인 배포의 기본 프로필은 Control Panel에서도 재정의할 수 있습니다.

Python 모델의 GPU 지원은 Beta이며 플랫폼 인스턴스에서 제공되지 않을 수 있고 개발 과정에서 기능이 바뀔 수 있습니다.

사용량을 중지하려면

배포를 Disable하면 실행을 끌 수 있습니다. 다시 활성화하면 최신 릴리스로 업그레이드합니다. Delete는 되돌릴 수 없으며 같은 Target RID를 유지하지 않습니다. 사용량 계산에서 활성 시간과 자원의 관계를 확인합니다.

외부 API 접근

외부 API를 호출할 수 있지만 사용자 또는 권한 있는 관리자가 온라인 배포의 네트워크 송신을 구성해야 합니다. 외부 호스팅 모델을 감싼 경우에는 모델과 호스팅 프로젝트의 송신 정책을 함께 확인합니다.