기존 Export task 운영과 이전
Export task는 Foundry 데이터를 외부 소스로 보내는 기존 작업 방식입니다. 신규 구성에는 현행 내보내기를 권장하지만, 플랫폼 인스턴스와 소스 유형에 따라 기존 작업을 계속 사용할 수 있습니다. Export tasks는 Sunset 단계이며 기존 사용자가 지원 범위 안에서 운영하고 이전할 때 적용하는 기능입니다.
구성과 실행 경계
작업에는 두 구성이 필요합니다.
- 소스는 에이전트가 외부 시스템에 연결하는 방법과 인증 정보를 정의합니다. 동기화에 사용하는 소스와 같은 방식으로 준비합니다.
- Task configuration은 내보내기 유형, 입력 데이터셋과 해당 내보내기 매개변수를 정의합니다.
작업의 출력 데이터셋에 대한 빌드 작업이 시작되면 내보내기가 실행됩니다. 실제 외부 시스템에 쓰기를 수행하는 실행 지점입니다.
제한과 반출 통제
Export task는 에이전트 워커 소스에서만 동작합니다. Foundry 워커의 현행 내보내기 기능과 같은 실행 경로로 취급하지 않습니다.
기존 작업은 보안 표지(Marking) 및 반출 통제와 통합되어 있지 않습니다. 내보내는 데이터셋이나 스트림의 보안 표지를 해제할 권한을 요구하지 않으므로, 현행 소스의 반출 가능 표지 검사로 같은 통제가 적용된다고 가정해서는 안 됩니다. 운영자는 사용 목적, 대상 시스템과 실행 권한을 검토하고 가능한 경우 반출 통제가 적용되는 현행 경로로 이전합니다.
성능 최적화도 제한적이어서 대량 데이터는 오래 실행되거나 완료하지 못할 수 있습니다. 작업별 설정은 YAML로 작성합니다. Task Editor는 입력과 출력 리소스를 연결하는 화면이며, 모든 내보내기 옵션을 폼으로 제공하지 않습니다. 일부 소스의 세부 옵션은 Palantir 지원을 통해 구성해야 할 수 있습니다.
Task Editor에서 생성
- 목적지 시스템에 연결할 Data Connection 소스를 구성합니다.
- Files에서 해당 소스가 들어 있는 폴더를 열고 소스 리소스를 오른쪽 클릭합니다.
Create Data Connection Task를 선택합니다.- Task Editor에서 다음 이름으로 리소스를 연결합니다.
| 역할 | 이름 |
|---|---|
| 입력 소스 | inputSource |
| 입력 데이터셋 | inputDataset |
| 생성하거나 선택할 출력 데이터셋 | outputDataset |
inputSource와 outputDataset은 작업이 기대하는 고정 이름입니다. 임의로 바꾸면 실행 오류가 발생할 수 있습니다. 입력 데이터셋도 예제와 작업 스키마에 맞게 inputDataset으로 연결합니다.
- 해당 소스의 내보내기 유형에 맞는 YAML을 구성합니다.
지원하는 목적지
| 목적지 | 구성 경로 |
|---|---|
| Amazon S3 | S3의 기존 내보내기 작업 |
| OneLake 및 Azure Blob Filesystem | ABFS의 기존 내보내기 작업 |
| HDFS | HDFS 소스 |
| JDBC 호환 관계형 데이터베이스 | 사용자 지정 JDBC. PostgreSQL, Microsoft SQL Server, MySQL 등이 포함됩니다. |
| JDBC 호환 데이터 웨어하우스 | Teradata, Snowflake, Vertica 등에서 해당 JDBC 작업을 사용합니다. |
| 파일시스템 및 네트워크 파일시스템 | 중간 에이전트에 마운트한 파일시스템 |
| SFTP | 기존 SFTP 커넥터의 내보내기 |
소스마다 YAML 작업 유형과 필요한 권한이 다릅니다. 공통 옵션만으로 모든 목적지의 완전한 작업 설정을 대신할 수는 없습니다.
증분 내보내기
모든 내보내기 유형은 incrementalType을 지원합니다. 파일 기반 작업은 작업의 공통 설정에 두며, JDBC 작업은 데이터셋별 설정에 둡니다.
| 값 | 동작 |
|---|---|
snapshot | 기본값입니다. 입력 데이터셋의 현재 뷰에 보이는 파일을 매번 모두 내보냅니다. 이전 전송 여부와 관계없이 전체 데이터가 포함됩니다. |
incremental | 첫 실행은 전체 스냅샷을 내보냅니다. 이후에는 이전 내보내기의 기준 트랜잭션을 데이터셋에서 계속 사용할 수 있을 때 새 트랜잭션만 내보냅니다. 재빌드 등으로 그 기준이 없어지면 전체 스냅샷으로 돌아갑니다. |
파일 기반 작업에서 증분 방식을 지정하는 필드는 다음과 같습니다.
incrementalType: incremental
증분이라는 이름만으로 항상 새 데이터만 전달된다고 가정하지 않습니다. 기준 트랜잭션을 잃으면 전체 재전송이 발생할 수 있으므로, 대상의 쓰기 모드와 기존 데이터 처리 방식을 함께 결정합니다. JDBC의 데이터셋별 배치, 쓰기 모드와 트랜잭션 설정은 JDBC 내보내기 구성에 있습니다.
파일 이름과 경로 변경
파일 기반 작업의 rewritePaths는 정규식과 치환 템플릿의 맵입니다. 다음 설정은 파일 경로 앞의 spark/를 제거합니다.
rewritePaths:
"^spark/(.*)": "$1"
치환 템플릿에는 다음 표현을 사용할 수 있습니다. 이 표현은 셸 환경 변수가 아니라 내보내기 작업이 해석하는 템플릿입니다.
| 표현 | 값 |
|---|---|
$1, $2 등 | 정규식에서 캡처한 부분입니다. |
${dt:yyyy-MM-dd} | 현재 날짜 및 시각을 Java DateTimeFormatter 패턴으로 형식화합니다. 예시 패턴은 연-월-일을 만듭니다. |
${transaction} | Foundry 트랜잭션 ID입니다. |
${dataset} | Foundry 데이터셋 ID입니다. |
현행 내보내기로 이전
소스가 파일, 스트리밍 또는 테이블 내보내기를 지원하면 새 구성을 수동으로 만듭니다. 새 내보내기가 요구한 범위와 결과를 처리하는지 확인한 뒤 이전 Export task를 삭제합니다. SQL hook이나 직접 트랜잭션 관리처럼 현행 UI에 없는 기능은 외부 연결 변환으로 구성할 수 있습니다.
내보내기 옵션 비교에 기존 YAML 옵션이 현행 모드 및 소스 설정으로 어떻게 대응되는지 정리되어 있습니다.