외부 연산 엔진으로 Pipeline Builder 실행하기
External 파이프라인은 Foundry에서 변환을 관리하되 실제 계산을 외부 데이터 웨어하우스나 연산 엔진에 위임합니다. Foundry의 계보, 보안과 파이프라인 관리 기능을 외부 연산 위에 적용하는 방식입니다.
입력과 출력은 모두 가상 테이블이어야 합니다. 외부에서 계산한 테이블과 Foundry 자체 연산으로 만든 데이터셋 및 테이블은 스케줄을 통해 하나의 상위 파이프라인으로 조합할 수 있습니다.
지원 엔진과 입력 조건
| 소스 | Pipeline Builder External 지원 |
|---|---|
| Databricks | 일반 제공 |
| Snowflake | 일반 제공 |
| BigQuery | 미지원. Python 변환의 연산 위임 경로를 사용합니다. |
모든 입력과 출력은 파이프라인을 만들 때 선택한 같은 소스의 가상 테이블이어야 합니다.
- Databricks 파이프라인은 Databricks 테이블만 지원합니다.
- Snowflake 파이프라인은 같은 external volume에 속한 Snowflake 가상 테이블만 지원합니다.
- Foundry 데이터셋은 이 파이프라인의 입력이나 출력으로 사용할 수 없습니다.
가상 테이블은 Foundry 외부 저장소의 테이블을 참조하는 자산입니다. 접근과 저장 방식은 가상 테이블에서 설명합니다.
파이프라인 생성
- Pipeline Builder에서
Create new pipeline을 선택합니다. - 이름과 저장 위치를 정하고
Batch pipeline > External을 선택한 뒤Next를 누릅니다. - 지원되는 외부 소스를 검색하여 파이프라인에 가져옵니다.
- 해당 소스의 가상 테이블을 그래프에 추가하고 변환을 구성합니다.
- 출력도 같은 소스의 가상 테이블로 지정합니다.
- 저장하고 배포합니다. 계산은 외부 엔진에서 실행되고 결과는 원천 시스템에 저장된 가상 테이블 출력으로 연결됩니다.
빌드 연산 설정
빌드 설정 패널에서 파이프라인의 소스를 편집하고 소스별 연산 옵션을 지정할 수 있습니다. 외부 연산 설정은 Default compute profile 아래에 있습니다.
| 소스와 프로필 | 설정 |
|---|---|
Databricks Serverless | Databricks Connect를 이용하는 서버리스 연산이며 기본값입니다. |
Databricks Classic compute | 사용할 클래식 클러스터 ID를 지정합니다. 생략하면 소스 구성에서 Spark 클러스터 ID를 가져옵니다. 소스가 SQL warehouse를 사용하도록 구성되어 있다면 클러스터 ID를 반드시 별도로 제공해야 합니다. |
Snowflake Compute warehouse | 사용할 웨어하우스를 지정합니다. 생략하면 소스에 구성된 웨어하우스를 사용합니다. |
지원하지 않는 기능
External은 Standard 배치와 같은 모든 표현식 및 변환을 지원하지 않습니다. 다음 기능은 지원하지 않습니다.
- 증분 계산
- LLM 기능
- 미디어 집합 연산
- Union
- 사용자 정의 함수
- 지리 공간 연산
실행 엔진에 따라 결과가 달라질 수 있으므로 Preview 또는 실제 출력에서 값을 확인합니다. 이 경로에 맞지 않는 단계는 Foundry 자체 연산의 별도 파이프라인으로 구성하고 스케줄에서 연결할 수 있습니다.