변환과 저장소를 Marketplace 제품에 포함하기

Foundry DevOps에서 데이터셋 변환과 이를 만드는 Code Repository를 제품에 포함하면 다른 사용자가 설치하여 재사용할 수 있습니다. Maven, PyPI와 Conda의 필요한 의존성도 제품에 보관합니다.

Python, Java와 SQL 변환을 지원합니다. 오래된 저장소 템플릿은 패키징 오류를 낼 수 있으므로 최근 템플릿으로 업그레이드해야 합니다.

입력 스키마 계약

설치할 때 제공하는 데이터셋은 원래 입력과 열 이름 및 자료형이 같아야 합니다. 원래 입력의 모든 열이 설치 입력으로 요구되며, 변환 코드에서 참조하지 않은 열도 포함됩니다.

제품은 실행 의존성을 함께 담습니다. 설치 후에는 실제 입력값과 접근 권한, 외부 시스템 상태를 확인하여 운영 빌드를 검증해야 합니다.

증분 변환, 보안 표지 전파 중단, Spark 프로필, telemetry, 라이브러리, 외부 변환과 스키마 없는 데이터셋을 지원합니다. 각 기능의 권한과 실행 조건은 설치 환경에서도 충족해야 합니다.

제품을 만들고 출력 추가 단계에서 Add files로 Compass 안의 데이터셋 변환을 선택합니다. 하나의 변환이 여러 출력 데이터셋을 만들면 그 출력들을 모두 제품에 포함해야 합니다.

변환과 저장소의 패키징 방식 선택

방식	포함되는 내용과 설치 후 동작
Exclude all source code	소스 코드는 제외하고 컴파일한 사용자 코드와 모든 전이 의존성을 포함합니다. 저장소는 실행에 필요한 의존성을 보관하는 역할을 합니다.
Include latest source code, exclude version history	최신 소스와 필요한 아티팩트를 포함하되 tag를 포함한 Git 이력은 보관하지 않습니다. 읽기 전용 코드 문서로 전달할 때 권장합니다.
Include source code and full version history	저장소를 그대로 포함합니다. 패키징 시점의 전체 Git 이력을 저장하고 설치할 때 복원합니다. 설치 후 Code Repositories에서 checks를 실행하고 변환을 다시 빌드할 수 있는 유일한 모드입니다.

실행만 제공할지, 코드를 읽게 할지, 설치자가 개발을 이어갈지를 기준으로 선택합니다.