Pipeline Builder를 Marketplace 제품에 포함하기

Foundry DevOps의 Marketplace 제품에 파이프라인을 넣으면 다른 사용자가 설치하여 재사용할 수 있습니다. 제품을 만들고 출력을 추가하는 단계에서 Add files로 Compass의 파이프라인 파일을 선택합니다.

패키징 지원 범위

대부분의 Builder 기능을 패키징할 수 있지만 다음은 지원하지 않습니다.

학습된 모델 노드가 있는 배치 파이프라인은 지원합니다. 변환으로 사용하는 모델은 Include with content 자산으로 자동 포함되므로 모델을 함께 넣기 위한 추가 구성은 필요하지 않습니다.

호환성 표시

Settings > Enable Marketplace validation을 켜면 Marketplace linter가 호환성을 검사합니다. 기본적으로 꺼져 있으며 선택한 설정은 해당 파이프라인에 저장되어 다시 열어도 유지됩니다.

패키징을 막는 구성은 아래쪽 Pipeline warnings에 표시됩니다.

비호환 구성이 없으면 Marketplace packaging warnings가 나타나지 않습니다. 다른 원인의 파이프라인 오류나 경고까지 없어지는 것은 아닙니다.

설치자가 바꿀 매개변수

파이프라인 매개변수를 사용하면 설치 시 값을 받을 수 있습니다. 예를 들어 Boolean 값으로 처리 경로를 선택하게 구성할 수 있습니다.

파이프라인과 함께 패키징한 매개변수는 파이프라인의 dependency가 되고 설치자에게는 제품의 input으로 표시됩니다. 위에서 제한한 유형을 제외하고 설치용 입력을 정합니다.

입력 데이터셋과 열의 필수 여부

Pipeline outputs 패널의 Settings에서 Packaging settings를 엽니다.

기본값은 모든 입력 데이터셋과 열을 필수로 요구합니다. 없어도 되는 항목은 optional로 표시할 수 있습니다.

선택적인 입력 데이터셋은 제공되지 않으면 빈 데이터가 됩니다. 선택적인 열을 파이프라인 로직에서 사용하면 제공되지 않은 값은 null이 됩니다. 빈 입력이나 null이 후속 Join, 집계와 출력 조건에 미치는 영향을 고려하여 선택 여부를 정합니다.

제품 설치 시 큰 Spark 프로필을 사용하는 경우에는 컴퓨팅 프로필 권한도 적용됩니다.