데이터 처리와 함수 실행 선택
데이터 파이프라인은 원천 자료를 업무에 사용할 상태로 준비하고, 함수는 앱이나 자동화가 실행할 조회 및 계산과 변경 로직을 제공합니다. 같은 언어를 사용해도 실행 위치와 API 및 배포 방식이 다릅니다.
파이프라인 작성
Pipeline Builder에서는 입력을 추가하고 변환을 정의한 뒤 미리보기와 배포를 거쳐 출력을 만듭니다. 화면 중심 변환, 스키마와 자료형 검사, 데이터셋 상태 검사, LLM 기반 작성 보조 및 미디어와 지리공간 처리를 지원합니다.
출력 대상에는 데이터셋, 미디어 집합, 파일과 파일 집합, 지리 시계열 동기화, 가상 테이블과 온톨로지의 객체 유형 및 링크 유형과 시계열 동기화가 포함됩니다.
Code Repositories는 Python, Java, SQL 또는 Mesa 등의 변환을 코드로 작성하는 환경입니다. Git 브랜치, Pull request, 코드 검토, IntelliSense와 오류 검사 및 CI/CD 연계를 사용합니다. Python과 R 기반 탐색 또는 분석에는 Code Workspaces 같은 환경도 사용할 수 있습니다.
| 변환 방식 | 실행 특징 |
|---|---|
Python @transform.using(...) | 기본적으로 단일 노드 실행. Pandas, Polars, DuckDB 등의 표 처리 활용. transforms 3.68.0 이상과 transformsLangPythonPluginVersion 1.978.0 이상 필요 |
Python @transform.spark.using(...) | 분산 Spark 실행과 PySpark DataFrame 사용. transforms 3.95.0 이상과 transformsLangPythonPluginVersion 1.1003.0 이상 필요 |
| SQL | 선언형 SQL로 변환 정의 |
| Java | Spark Java API를 사용하는 변환 |
Python 변환은 증분 계산을 지원하며 transforms-external-systems를 통해 허용된 외부 API를 사용할 수 있습니다. 실제 입출력 계약은 Python 변환을 따릅니다.
배치, 증분과 스트리밍
배치는 정해진 입력 범위를 한 번의 실행으로 처리합니다. 전체를 다시 계산할 수도 있고 지원되는 변경분만 증분 처리할 수도 있습니다. 증분 처리는 큰 추가형 데이터의 비용과 지연을 줄일 수 있지만 스키마 및 입력 변경과 재계산 조건을 관리해야 합니다.
스트리밍은 Flink 등으로 계속 들어오는 데이터를 낮은 지연으로 처리하는 방식입니다. 배치와 증분을 서로 배타적인 실행 종류로 해석하지 않아야 합니다.
데이터 품질과 상태
Data expectations는 열의 NULL 금지나 값 범위 같은 품질 조건입니다. 설정에 따라 조건 위반으로 빌드를 중단할 수 있습니다. Health check는 데이터의 최신성, 품질 및 처리 문제를 관찰하고 알립니다.
Data Health의 Monitoring views는 프로젝트, 폴더 또는 개별 리소스 범위에 규칙을 적용합니다. 개별 상태 검사는 데이터셋의 내용과 스키마 등을 확인합니다. 데이터셋, 빌드, 함수, 액션과 Automate 등 지원되는 리소스를 관측하며 Foundry 알림, 이메일 요약과 PagerDuty 또는 Slack 같은 외부 경로로 알릴 수 있습니다.
함수 언어와 실행 계약
함수는 객체 조회와 집계, 링크 탐색, 온톨로지 편집과 외부 API 호출을 구현합니다.
| 작성 방식 | 주요 차이 |
|---|---|
| TypeScript v2 | Node.js 런타임과 OSDK, 구성 가능한 실행 자원, 온톨로지 인터페이스와 모델 프록시 연계 |
| TypeScript v1 | 자체 온톨로지 API 및 함수 데코레이터. 웹훅 직접 호출과 함수를 모델로 등록하는 기존 인터페이스 지원 |
| Python | OSDK 기반 객체 및 편집 사용, 모델 프록시 연계. Pipeline Builder에서 호출할 수 있는 유일한 함수 언어 |
| Ontology SQL | SQL Studio 또는 SQL Console의 Object 모드에서 읽기 전용 매개변수 쿼리 작성. 선택한 열에 맞는 구조체 목록 반환 |
TypeScript v2와 Python에서도 온톨로지에 연결한 모델 함수를 통해 라이브 배포 모델을 호출할 수 있습니다. 웹훅은 웹훅 함수로 게시해 호출하는 경로를 사용합니다. 함수를 모델로 등록하는 Bring-your-own-model 기능과 기존 라이브 모델을 호출하는 기능은 구분합니다.
TypeScript v1은 @Function()으로 조회 및 계산 함수를, @OntologyEditFunction()과 @Edits로 편집 함수를 선언합니다. Python은 @function을 사용합니다. 함수의 편집 결과를 실제 적용하려면 함수 기반 액션에 연결해야 합니다. 코드 예제에서 각각의 반환 계약을 확인할 수 있습니다.
개발 도구와 API
Code Repositories는 변환 외에 TypeScript 및 Python 함수도 관리합니다. Developer Console에서는 OSDK 생성, OAuth 클라이언트, 플랫폼 하위 도메인 또는 사용자 정의 도메인의 앱 호스팅, 앱 공유, 장기 토큰과 Ontology MCP를 구성합니다.
VS Code는 브라우저 작업 공간 또는 Palantir 확장을 설치한 로컬 환경에서 사용할 수 있습니다. Continue 확장은 Foundry 문맥을 사용하는 AI 개발 보조에 활용할 수 있습니다.
| API 영역 | 다루는 대상 |
|---|---|
| Datasets | 브랜치, 트랜잭션, 파일과 뷰를 포함한 데이터셋 읽기 및 쓰기 |
| Filesystem | 공간(Space), 프로젝트, 폴더와 리소스 역할 |
| Administration | 사용자, 그룹, 조직, 호스트와 마킹 |
| Orchestration | 빌드 시작, 작업 조회와 스케줄 |
| Connectivity | 연결, 가상 테이블과 파일 및 테이블 가져오기 |
| SQL Queries | 데이터셋에 대한 SQL 실행 |
| Media Sets | 미디어 집합과 항목 업로드 및 조회 |
| Ontology | 객체 및 관계 조회와 허용된 편집 |
| AIP Chatbots | 세션과 메시지 등 프로그램 방식의 챗봇 사용 |
| 운영 관리 | 감사 로그, 상태 검사, 스트림과 Checkpoint 등 |
두 MCP 접점
Palantir MCP는 온톨로지를 만드는 개발자를 위한 접점입니다. 문서와 API 탐색, 앱 개발 보조 및 객체 유형, 링크 유형과 액션 유형 등의 정의를 만드는 70개 이상의 도구를 제공합니다. 온톨로지 유형을 수정하는 개발 경로이며 실제 객체 데이터를 쓰는 경로는 아닙니다.
Ontology MCP는 Developer Console에서 앱의 온톨로지 리소스를 도구로 노출합니다. 외부 에이전트가 객체를 읽거나 쿼리하고 사전에 정의한 액션을 실행합니다. 앱의 제한과 사용자 또는 서비스의 권한을 적용하며, OAuth 2.0 authorization code와 client credentials 흐름으로 인증합니다.
Claude.ai, Microsoft Copilot Studio와 Gemini Enterprise 같은 에이전트 환경, Anthropic SDK, Google ADK, Microsoft Agent Framework와 OpenAI SDK 같은 코드 프레임워크를 연결할 수 있습니다. MCP Hub는 플랫폼 인스턴스의 Ontology MCP 서버를 찾고 관리하는 곳입니다.
실행 관측
함수, 액션과 AIP Logic의 지표는 최근 30일의 성공 및 실패 횟수와 P95 실행 시간을 준실시간으로 제공합니다. 스트림과 Compute Modules에는 장기 실행 작업을 관찰하는 지표가 있습니다.
Workflow Lineage에서는 최근 7일의 실행 이력을 상태, 사용자, 소요 시간과 버전으로 좁히고 여러 실행의 로그를 검색할 수 있습니다. Trace view는 함수, 액션과 LLM 호출에 걸친 실행 경로, 시간, 입력, 출력과 오류를 연결합니다.
로그, 지표와 추적 정보는 스트리밍 데이터셋으로 내보내 사용자 정의 대시보드, 파이프라인 및 관측 업무에 사용할 수 있습니다. 관측 자료의 접근 범위도 해당 보안 정책을 따릅니다.