로컬 개발에서 변환 미리보기

VS Code의 Palantir 확장과 Gradle 기반 미리보기는 실행 위치가 다릅니다. Python 확장은 로컬 미리보기를 지원하며 데이터셋의 일부를 개발자 컴퓨터로 스트리밍합니다. Gradle 명령으로 시작하는 미리보기는 로컬 터미널에서 요청하더라도 Foundry 안에서 원격 실행합니다.

Python과 VS Code 확장

Palantir extension for Visual Studio Code를 설치하고 미리보기에 필요한 개발 환경을 준비하면 Preview 탭이 변환을 자동으로 찾습니다. 로컬 미리보기에는 관리자의 허용과 모든 입력 데이터셋의 Download 권한이 필요합니다. 증분 변환은 기존 출력 데이터셋에도 Download 권한이 필요합니다. 입력 스트리밍과 결과 캐시의 처리 방식은 확장의 보안 조건을 따릅니다.

VS Code 확장의 Python 변환 미리보기

Gradle 기반 미리보기

Java 로컬 개발에는 Gradle 미리보기 경로를 사용할 수 있습니다. 이 경로의 태스크는 Python 및 Java 변환을 대상으로 하는 구성도 지원합니다. 로컬 개발의 기본 설정을 마치고 리포지토리 템플릿을 최신 버전으로 업그레이드해야 합니다.

로컬 브랜치는 원격 브랜치를 추적해야 하므로 적어도 한 번 push한 상태여야 합니다. 생성한 미리보기 URI는 실행한 사용자만 접근할 수 있고 임시로 제공됩니다.

변환 선택과 실행

먼저 사용 가능한 변환 목록을 가져옵니다.

./gradlew displayTransformsList

미리보기할 변환 식별자 목록

목록의 transform ID를 입력하여 미리보기를 실행합니다. 다음은 로컬 셸에서 사용자 입력을 받는 명령이며 비밀 정보가 아닌 변환 식별자를 사용합니다.

printf 'Transform ID: '
IFS= read -r TRANSFORM_ID
./gradlew datasetPreview "--transformId=$TRANSFORM_ID"

결과로 계산이 끝난 미리보기를 여는 Foundry 링크를 받습니다.

터미널에 반환된 미리보기 URI

Foundry에서 원격 미리보기 결과 열기

표를 터미널에서 보기

앞에서 입력한 TRANSFORM_ID를 사용하여 --printMode=table을 추가하면 링크 대신 미리보기한 각 데이터셋의 처음 10행을 터미널에 표시합니다.

./gradlew datasetPreview "--transformId=$TRANSFORM_ID" --printMode=table

터미널에서 표시한 미리보기 표

입력 또는 출력 파일 포함

--inputFiles는 선택한 변환의 입력 alias와 그 데이터셋 안의 파일 경로를 콜론으로 연결합니다. 다음 alias와 경로는 예시이므로 실제 입력 구성으로 바꿉니다.

INPUT_ALIAS='raw'
INPUT_PATH='example.csv'
./gradlew datasetPreview "--transformId=$TRANSFORM_ID" "--inputFiles=$INPUT_ALIAS:$INPUT_PATH"

입력 파일을 포함한 미리보기 명령

출력 파일은 --outputFiles에 출력 alias와 데이터셋 내부 파일 경로를 지정합니다.

OUTPUT_ALIAS='processed'
OUTPUT_PATH='result.csv'
./gradlew datasetPreview "--transformId=$TRANSFORM_ID" "--outputFiles=$OUTPUT_ALIAS:$OUTPUT_PATH"

출력 파일을 포함한 미리보기 명령

여기서 파일 경로는 로컬 컴퓨터의 파일을 업로드하라는 의미가 아니라 해당 입력 또는 출력 데이터셋 안의 경로입니다.