멀티모달 데이터 플레인

멀티모달 데이터 플레인(MMDP)은 Foundry와 AIP의 개방형 데이터 및 연산 아키텍처입니다. 표, 문서, 미디어, 시계열, 지리공간과 기하 데이터가 서로 다른 연산을 거쳐 하나의 업무에 쓰일 수 있도록 저장 형식과 실행 엔진의 연결을 제공합니다.

특정 저장 방식이나 런타임 하나에 종속된 구성이 복합 업무의 확장을 제한할 수 있으므로, 기존 기업 시스템과 공통 인터페이스를 유지하는 방향으로 설계합니다. 이를 Any data, any compute, any model, anywhere라는 원칙으로 표현합니다.

데이터와 개방형 표 형식

표 데이터에서는 Apache Iceberg를 주요 형식으로 사용합니다. AWS, Google Cloud, Microsoft Azure, Databricks와 Snowflake도 Iceberg를 개방형 표준으로 채택하고 있습니다. Iceberg 카탈로그를 Palantir 안에서 관리하거나, 이들 제공자 등의 외부 카탈로그와 테이블을 각각 가상 카탈로그와 가상 테이블로 등록할 수 있습니다.

기존 데이터 레이크, 레이크하우스와 웨어하우스의 자료를 활용하면서 불필요한 원천 복제를 줄입니다. 제로 카피는 원천 접근 방식에 관한 개념이며, 후속 변환 결과나 온톨로지 색인의 저장까지 없다는 뜻은 아닙니다. SQL 도구와 분석 노트북도 개방형 형식을 통해 데이터와 상호작용할 수 있습니다.

표 이외의 자료

미디어는 원래 형식에 관한 가정을 적게 두고 동기화할 수 있습니다. 인식하는 형식은 분석 도구에서 해석하고, 특수 형식은 필요한 메타데이터를 다른 원천에서 나중에 연결할 수 있습니다.

스트림과 지리 시계열도 원천 유입과 나란히 실행하는 파이프라인에서 센서 태그 등의 부가 메타데이터를 처리할 수 있습니다. 파일과 시계열 지점은 지원하는 REST API 및 Python과 TypeScript SDK로 접근합니다.

내보내기 작업과 온톨로지 웹훅은 외부 시스템으로 결과를 전달합니다. 소스 기반 변환을 사용하면 개별 업무 단계에 필요한 외부 쓰기 동작을 코드로 맞춤화할 수 있습니다.

연산 엔진

기본 런타임은 보안 강화, 고가용성과 자동 확장을 적용한 Kubernetes 기반 Rubix에서 동작합니다. 컨테이너를 72시간 안에 파기하고 교체하는 순환 정책은 지속적인 침입 거점의 수명을 줄이기 위한 설계입니다. 개별 노드의 장애와 교체 중에도 서비스를 유지할 수 있어야 합니다.

원천에서 온톨로지로 데이터를 만드는 처리를 South of the Ontology, 온톨로지 데이터를 사용자의 판단과 동작에 연결하는 대화형 계산을 North of the Ontology로 표현할 수 있습니다. 양쪽 모두 관리된 실행 엔진과 통제를 사용합니다.

자체 연산과 외부 연산 연결

Compute Modules는 컨테이너화한 실행 파일, 모델, 애플리케이션과 런타임을 가져오는 BYO Compute를 지원합니다. 기존 분야별 프로그램이나 더 이상 활발히 개발하지 않는 패키지도 컨테이너 인터페이스로 연결해 배치, 스트리밍 및 대화형 업무에서 사용할 수 있습니다. Python, Java, SQL, Go나 Rust로 구현한 다른 로직과 함께 조율할 수 있습니다.

외부 모델 추론 환경, Spark 클러스터, 클라우드 최적화 서비스와 온프레미스 고성능 연산 자원도 연결 대상입니다. Databricks나 Snowflake처럼 지원하는 외부 런타임으로 연산을 푸시다운하면 Pipeline Builder나 Code Workspaces에서 기존 연산 자원을 활용할 수 있습니다.

모델 선택과 통제

Model Catalog는 OpenAI, Anthropic, Google, Meta와 xAI 등의 모델을 제공하는 연결 경로와 기업의 자체 등록 모델을 함께 다룹니다. 기존 구독, 미세 조정 모델과 분야별 모델도 업무에 연결할 수 있습니다.

지원되는 모델은 Pipeline Builder, Workshop, AIP Logic과 개발 도구에서 사용합니다. 관리자는 모델 접근 범위와 업무별 토큰 제한을 정하고 Resource Management에서 데이터, 연산 및 AI 사용량을 관리합니다.

Apollo는 기반 인프라 제공자가 다른 환경에서도 이 구성요소의 전달과 갱신을 관리합니다. 데이터 형식, 실행 엔진과 모델을 선택하는 구조는 상호운용성의 각 인터페이스로 연결됩니다.