Pipeline Builder로 데이터 통합하기
Pipeline Builder는 그래프와 폼으로 입력 데이터, 변환과 출력을 구성하는 Foundry의 데이터 통합 도구입니다. 코드를 작성하는 개발자와 작성하지 않는 업무 사용자가 같은 파이프라인에서 협업할 수 있습니다.
로직 작성과 실행의 분리
사용자는 원하는 변환과 결과를 표현하고, 백엔드는 이를 실행 가능한 로직과 빌드 구성으로 연결합니다. 강한 자료형 검사와 스키마 검증으로 작성 중 발견할 수 있는 오류를 표시하며, 조인 키나 열 캐스팅에 대한 제안도 제공합니다.
실행 방식에 따라 Spark, Flink, DataFusion 또는 지원되는 외부 연산 엔진을 사용합니다. 같은 그래프 작성 경험을 제공해도 엔진별 연산, 입출력과 상태 관리의 지원 범위는 다르므로 개별 기능의 실행 모드를 확인해야 합니다.
입력에서 배포까지
- 입력 데이터를 추가합니다. 원천 연결, 기존 Foundry 자산, 파일 업로드와 수동 입력 중 필요한 경로를 선택합니다.
- 변환 작성에서 변환, 조인과 Union으로 원하는 결과를 만듭니다.
- 각 단계의 미리보기에서 데이터와 자료형을 확인합니다.
- 결과를 연결할 데이터셋, 객체 유형 또는 링크 유형 등 출력 자산을 정의합니다.
- 출력 스키마와 검증 조건을 확인하고 저장 및 배포하여 빌드합니다.
출력에 연결하지 않은 변환 경로는 빌드에서 자동으로 제외하여 불필요한 계산을 줄입니다. 출력 검증 조건을 만족하지 못하면 빌드가 실패하므로 하위 소비자가 기대하는 계약을 명시적으로 설정합니다.
주요 기능
| 기능 | 사용할 수 있는 작업 |
|---|---|
| 자료형과 스키마 검사 | 작성 중 타입 오류, 잘못된 열 참조와 출력 스키마 문제를 확인합니다. |
| 입력 및 출력 관리 | 데이터셋, 미디어 집합과 지원되는 가상 테이블 등의 자산을 연결하고 빌드 및 동기화를 구성합니다. |
| 재사용 | 노드와 경로를 복사하거나 subgraph로 공통 로직을 묶어 사용합니다. |
| 버전 관리 | 별도 브랜치에서 변경하고 제안, 검토와 병합으로 반영합니다. 과거 저장 상태도 확인할 수 있습니다. |
| 미디어 처리 | 미디어 집합을 입력으로 받아 이미지나 문서의 변환 및 정보 추출을 수행합니다. |
| LLM과 AIP | LLM으로 데이터를 변환하고 평가 도구에서 배포 전 결과를 비교할 수 있습니다. |
| 학습된 모델 | 머신러닝 모델을 가져와 파이프라인에서 예측합니다. |
| Model Studio 연결 | 데이터셋의 Train in Model Studio에서 모델 학습으로 이동합니다. |
| 지리 공간 처리 | 지원되는 지리 공간 자료형의 생성, 변환과 출력을 구성합니다. |
| Faster | DataFusion 기반 배치와 증분 실행으로 시작 및 처리 시간을 줄일 수 있습니다. 특히 15분 미만 파이프라인에서 검토할 수 있습니다. |
| 스트리밍 | 실시간에 가까운 지연으로 계속 처리합니다. 제공 여부는 플랫폼 환경에 따라 다릅니다. |
| 외부 연산 | Databricks나 Snowflake에서 계산을 실행합니다. 입출력은 선택한 같은 소스의 가상 테이블이어야 합니다. |
기능의 이름만으로 모든 실행 방식에서 사용할 수 있다고 판단하지 않습니다. 예를 들어 미디어 및 지리 공간 표현식은 각각의 지원 모드를 확인하고, 외부 파이프라인은 별도 입출력 조건을 따릅니다.
시작과 편집
| 주제 | 내용 |
|---|---|
| 핵심 개념 | 데이터셋, 변환, 출력, 브랜치와 검증 조건의 관계를 설명합니다. |
| 화면과 탐색 | Edit, Proposals, History 및 공유와 그래프 제어를 설명합니다. |
| 편집과 운영 요령 | 단축키, AI 작성 보조, 샘플링, 프로필과 그래프 정리 방법을 설명합니다. |
| 미리보기 | 500행 표시, 샘플 범위, 통계와 시간대 및 자동 실행 설정을 구분합니다. |
| 표현식 참조 | 값 계산에 사용할 함수의 입력, 출력과 실행 모드를 확인합니다. |
| 변환 참조 | 테이블과 여러 입력을 처리하는 변환의 계약을 확인합니다. |
관리와 재사용에서는 매개변수, 사용자 지정 함수와 Subgraph를 구성합니다. Job group과 checkpoint로 실행 단위를 조정하고 엔진별 빌드 프로필을 선택할 수도 있습니다.
여러 작성자가 변경할 때는 브랜치와 제안으로 검토와 승인을 진행합니다. 단위 테스트와 출력 기대 조건을 구성한 뒤 스케줄로 운영하거나 Marketplace 제품으로 배포할 수 있습니다.
배치 파이프라인 튜토리얼에서 실제 입력과 출력 구성을 시작할 수 있습니다. Faster와 외부 연산은 별도의 호환성 조건을 확인합니다. 텍스트를 임베딩과 의미 검색에 사용할 경우에는 문서 처리와 청킹의 구성을 검토합니다.