Pipeline Builder에서 변환 작성하기
Pipeline Builder는 로직을 작성하는 화면과 실제 실행 엔진 사이에 공통 변환 모델을 둡니다. 사용자는 열과 테이블에 적용할 연산을 정의하고, 백엔드는 이를 지원되는 실행 방식과 출력에 연결합니다.
배치는 데이터셋, 객체 유형과 링크 유형 등을 만들 수 있고 스트리밍 파이프라인은 스트림을 계속 처리할 수 있습니다. 시계열 및 외부 시스템 출력도 실제 연산과 자산의 지원 조건에 맞춰 구성합니다.
표현식과 테이블 변환
표현식은 열의 값을 받아 결과 값을 만듭니다. 예를 들어 Split string은 문자열에서 배열 값을 만들 수 있습니다. 테이블 변환은 입력 테이블의 행과 열을 바꾸어 결과 테이블을 만듭니다. Pivot과 Filter가 해당합니다.
두 종류는 같은 구성 화면에서 함께 사용할 수 있습니다. Drop columns 같은 테이블 변환 옆에 Cast, Concatenate strings 같은 표현식이 있고, Filter 조건 안에 Length 표현식을 넣는 식으로 중첩할 수 있습니다.
Join, Union과 Split은 별도 패널과 아이콘을 사용합니다.
| 작업 | 입력과 결과 |
|---|---|
| 단일 입력 변환 | 보드를 추가하고 표현식을 중첩하여 데이터를 정리합니다. |
| Join | 조건이 일치하는 두 입력의 행을 결합하고 조인 유형에 따라 불일치 행을 유지하거나 제외합니다. |
| Union | 같은 스키마의 입력 행을 이어 붙입니다. 중복 행도 유지합니다. |
| Split | 한 테이블을 조건별 True 및 False 출력으로 나눕니다. Standard 배치와 Faster에서 지원합니다. |
| null 처리 | 조건의 true, false와 null 및 동등 비교의 차이를 설명합니다. |
| 미디어 | 미디어를 바꾸는 연산과 내용을 표로 추출하는 연산을 구분합니다. |
| 지리 공간 | 논리 자료형, 좌표 변환과 공간 조인의 조건을 설명합니다. |
| 식별자 | 재빌드에도 유지할 수 있는 데이터 기반 ID를 만듭니다. |
| 스트리밍 조인 | 기준 데이터의 조회 인덱스와 스트림별 캐시를 사용하여 들어오는 레코드를 연결합니다. |
| 빈발 패턴 | 거래의 항목 배열에서 최소 등장 비율을 충족하는 항목 집합을 찾습니다. |
코드와 모델을 사용하는 확장
기본 보드로 표현할 수 없는 전문 로직이나 여러 파이프라인에서 재사용할 코드는 UDF로 구현할 수 있습니다. 일반적인 코드 함수에는 Python Functions를 권장하며 특정 Java 라이브러리가 필요하면 Java UDF를 사용할 수 있습니다. UDF는 버전과 업그레이드를 관리할 수 있습니다.
두 스트림에서 들어오는 이벤트를 상태와 함께 처리해야 하면 keyed CoProcess UDF로 두 입력의 상태를 유지하고 각 스트림에서 독립적으로 결과를 낼 수 있습니다. 가능하면 최적화된 기본 보드를 사용하고 필요한 경우에만 사용자 코드를 추가합니다.
학습된 모델 노드는 Foundry 안팎에서 학습한 모델을 가져와 예측합니다. 모델은 격리된 sidecar 프로세스에서 실행되며, Standard 배치(Spark)와 스트리밍(Flink)에서 단일 표 입력 및 단일 표 출력을 가진 모델을 지원합니다.
Subgraph는 하나 이상의 변환을 재사용 블록으로 묶습니다. Beta 기능이므로 플랫폼 인스턴스에 따라 제공되지 않을 수 있습니다. 반복되는 노드 연결을 공통 블록으로 만들 수 있지만, 단일 표현식이나 변환 경로의 사용자 지정 함수와 구성 단위는 다릅니다.