Pipeline Builder 변환 참조

변환은 파이프라인 단계에서 테이블, 파일과 미디어 입력을 처리합니다. Table과 Files는 연산이 받는 입력 표현을 구분하며, Column<T>는 T 자료형의 열 선택, Expression<T>는 T 값을 계산하는 표현식입니다. ColumnPredicate는 입력 스키마의 열을 선택하는 조건으로 행 필터의 Boolean 표현식과 다릅니다.

Batch, Faster, Streaming 지원은 변환마다 다릅니다. 특히 스트리밍의 키 지정, 순서 위반 제거, 이벤트 시각 정렬은 서로 다른 동작입니다. 키를 지정하는 것만으로 과거 데이터의 순서가 복구되지는 않습니다.

입출력 예시의 데이터셋 식별자는 입력 테이블을 구분하는 예시값입니다. 실제 파이프라인에서는 해당 입력 리소스를 선택하고 열 이름, 자료형과 출력 스키마를 구성합니다.

구조체

구조체 필드를 개별 열로 추출하거나 펼칩니다.

변환	식별자	지원 실행 방식
여러 구조체 필드 추출	`getManyStructFieldsV1`	Batch, Faster
구조체 펼치기	`flattenStructV2`	Batch, Faster, Streaming

날짜와 시간

날짜와 타임스탬프를 시간 구간으로 나누어 분포를 계산합니다.

변환	식별자	지원 실행 방식
날짜 분포	`dateDistributionV1`	Batch

데이터 정리

중복 행과 열 이름 등 데이터셋 구조를 정리합니다.

변환	식별자	지원 실행 방식
행 필터	`filterV1`	Batch, Faster, Streaming
열 이름 정규화	`normalizeColumnNamesV1`	Batch, Faster, Streaming
열 이름 변경	`renameColumnsV1`	Batch, Faster, Streaming
열 이름 대문자화	`uppercaseColumnNamesV1`	Batch, Faster, Streaming

배열

배열의 원소를 데이터셋의 열로 펼칩니다.

변환	식별자	지원 실행 방식
배열 원소를 열로 추출	`arrayToColumnsV1`	Batch, Faster

숫자 분포

숫자 열의 값을 지정한 구간으로 나누어 분포를 계산합니다.

변환	식별자	지원 실행 방식
숫자 분포	`numericDistributionV2`	Batch, Faster

열, 행과 실행 제어

열 선택과 표현식 적용, 파일 합치기, 파티션, 정렬 및 스트리밍 상태 제어를 구성합니다.

변환	식별자	지원 실행 방식
표현식 하나 적용	`applyExpressionV1`	Batch, Faster, Streaming
여러 표현식 적용	`projectV1`	Batch, Faster, Streaming
윈도에 연산 적용	`applyOverWindowV1`	Streaming
여러 열에 조건부 적용	`projectOnConditionV1`	Batch, Faster, Streaming
타임스탬프와 워터마크 지정	`assignTimestampsAndWatermarksV1`	Streaming
파티션 병합	`coalesceV1`	Batch, Faster
아직 계산하지 않은 키의 표현식	`computeExpressionIfAbsentV1`	Batch, Faster
열 제거	`dropV1`	Batch, Faster, Streaming
중복 행 제거	`dropDuplicatesV1`	Batch, Faster
빈 파일 생성	`emptyFileV1`	Batch
빈 미디어 집합 파일 생성	`emptyMediaSetFileV1`	Batch, Streaming
빈 테이블 생성	`emptyTableV1`	Batch, Faster, Streaming
하트비트 감지	`heartbeatDetectionV2`	Streaming
K-means 군집화	`kmeansV1`	Batch
중복 행 유지	`keepDuplicatesV1`	Batch, Faster
키 지정	`keyByV3`	Streaming
수동 입력 테이블	`manuallyEnteredTableV1`	Batch, Faster, Streaming
새 연산자 체인	`newOperatorChainV1`	Streaming
데이터 재파티셔닝	`repartitionV1`	Batch, Faster
행 크기 추정	`rowSizeV1`	Batch
열 선택	`selectV1`	Batch, Faster, Streaming
데이터 정렬	`sortV2`	Batch, Faster
조건으로 출력 분리	`splitOnConditionV1`	Batch, Faster
텍스트 블록	`textBlockV1`	Batch, Faster, Streaming
시간 범위 내 중복 제거	`timeBoundedDropDuplicatesV3`	Streaming
시간 범위 내 순서 위반 제거	`timeBoundedDropOutOfOrderTransformV1`	Streaming
이벤트 시각 순서 정렬	`timeBoundedEventTimeSortV1`	Streaming

조인

두 입력의 일치 관계로 행을 결합합니다. 외부 조인, 안티/세미 조인, 조회 및 캐싱 조인의 보존 범위를 구분합니다.

변환	식별자	지원 실행 방식
안티 조인	`complexAntiJoinV1`	Batch, Faster
교차 조인	`complexCrossJoinV1`	Batch, Faster
첫 입력 열 기준 합치기	`firstUnionByNameV1`	Batch, Faster
내부 조인	`complexInnerJoinV1`	Batch, Faster
데이터셋 조인	`joinV2`	Batch, Faster, Streaming
KNN 조인	`complexKnnJoinV1`	Batch
왼쪽 조인	`complexLeftJoinV1`	Batch, Faster
왼쪽 조회 조인	`leftLookupJoinV2`	Streaming
매핑 조인	`mappingJoinV1`	Batch, Faster
공통 열 기준 합치기	`narrowUnionByNameV1`	Batch, Faster
외부 캐싱 조인: 선택 열 지정	`frontendOuterCachingJoinV3`	Streaming
외부 캐싱 조인: 이벤트 시각 기준	`outerCachingJoinV3`	Streaming
외부 조인	`complexOuterJoinV1`	Batch, Faster
세미 조인	`complexSemiJoinV1`	Batch, Faster
열 이름으로 합치기	`unionByNameV1`	Batch, Faster, Streaming
모든 열 기준 합치기	`wideUnionByNameV1`	Batch, Faster, Streaming

지리공간

거리와 교차, 최근접 이웃으로 지리공간 데이터를 결합합니다. 좌표계와 메모리 요구 조건이 연산별로 다릅니다.

변환	식별자	지원 실행 방식
거리 기반 내부 조인	`geoDistanceInnerJoinV1`	Batch
거리 기반 왼쪽 조인	`geoDistanceLeftJoinV1`	Batch
교차 도형 내부 조인	`geoIntersectionInnerJoinV1`	Batch, Streaming
교차 도형 왼쪽 안티 조인	`geoIntersectionAntiJoinV1`	Streaming
교차 도형 왼쪽 조인	`geoIntersectionLeftJoinV1`	Batch, Streaming
도형 교차 조인	`geoIntersectionJoinV1`	Batch
도형 KNN 내부 조인	`geoKnnInnerJoinV1`	Batch
도형 KNN 왼쪽 조인	`geoKnnLeftJoinV1`	Batch
점 사이 3차원 거리 내부 조인	`geoPointToPoint3dDistanceInnerJoinV1`	Batch

집계

그룹, 피벗과 윈도 안에서 값을 집계합니다. 스트리밍 집계는 윈도와 트리거, 누적 모드의 조건을 따릅니다.

변환	식별자	지원 실행 방식
그룹 집계	`aggregateV1`	Batch, Faster
조건에 맞는 열 집계	`aggregateOnConditionV1`	Batch, Faster
윈도 집계	`aggregateOverWindowV2`	Streaming
빈발 패턴 탐색	`fpGrowthV1`	Batch
피벗	`pivotV1`	Batch, Faster
윈도별 열 계산	`windowedProjectV1`	Batch, Faster, Streaming
계층별 Rollup 집계	`rollUpV1`	Batch, Faster
상위 행 선택	`topRowV2`	Batch, Faster
Unpivot	`unpivotV1`	Batch, Faster, Streaming
윈도 표현식 적용	`windowV1`	Batch, Faster

파일과 미디어 입력

파일, 미디어 집합과 메타데이터를 읽거나 해석합니다. 형식, 스키마, 파일 묶음과 미리보기 권한의 조건을 확인합니다.

변환	식별자	지원 실행 방식
미디어 집합을 테이블 행으로 변환	`loadMediaSetReferencesV2`	Batch
gzip 파일 압축 해제	`ungzipFilesV1`	Batch
tar 파일 압축 해제	`untarFilesV1`	Batch
파일 메타데이터를 행으로 추출	`extractFileMetadataAsRowsV1`	Batch, Faster
CSV 파일에서 행 추출	`parseCsvV1`	Batch
이메일 파일에서 행 추출	`extractEmailDataAsRowsV1`	Batch
텍스트 파일에서 행 추출	`parseTextFileV1`	Batch
GeoJSON 파일에서 행 추출	`parseGeoJsonV1`	Batch
JSON 파일에서 행 추출	`parseJsonV1`	Batch
Excel 파일에서 행 추출	`parseExcelV2`	Batch
XML 파일에서 행 추출	`xmlTagExtractV1`	Batch
Shapefile에서 행 추출	`parseShapefileV1`	Batch
파일 필터	`filterFilesV1`	Batch
데이터셋 미디어 참조 가져오기	`loadMediaReferencesV1`	Batch
KML 파일을 도형 목록으로 해석	`parseKmlFilesV1`	Batch
파일 데이터셋 합치기	`unionFilesV1`	Batch
ZIP 파일 압축 해제	`unzipFilesV1`	Batch

Keyboard shortcuts

팔란티어 플랫폼 한국어 해설