배치 동기화 구성과 실행

배치 동기화(Batch sync)는 외부 시스템의 데이터를 Foundry 데이터셋으로 가져옵니다. 거의 모든 커넥터에서 지원하는 연결 기능이며, 스키마가 있는 테이블 데이터와 스키마가 없는 원시 파일을 모두 수집할 수 있습니다.

새 배치 동기화를 만들면 기본적으로 결과를 기록할 새 데이터셋도 생성합니다. 이후 수동으로 실행하거나 예약 실행을 구성하여, 외부 데이터를 읽고 출력 데이터셋에 쓰는 빌드를 시작할 수 있습니다. 시작 전에 배치 동기화를 지원하는 소스의 연결을 완료해야 합니다.

동기화 생성

Data Connection에서 소스를 열고 개요 화면의 New batch sync를 선택합니다. 새로 만든 소스라면 연결 기능 목록에서 배치 동기화 옆의 Create를 선택할 수 있습니다.

소스 탐색을 지원하는 커넥터에서는 Explore and create syncs로 데이터를 살펴보면서 동기화를 만들 수도 있습니다.

출력 위치 지정

출력 위치는 데이터셋을 어디에 만들지 정하며, 프로젝트 권한에 따라 결과 데이터에 접근할 사용자도 결정합니다. 소스에 기본 출력 폴더가 있어도 동기화마다 다른 위치를 지정할 수 있습니다.

같은 원천에서 가져온 데이터의 권한을 함께 관리하기 위해 소스와 같은 프로젝트에 출력 데이터셋을 두는 구성이 권장됩니다.

기존 데이터셋으로 동기화하는 방법도 지원하지만 권장되지 않습니다. 선택한 데이터셋의 기존 데이터를 덮어쓸 수 있으므로, 출력 대상으로 사용할 데이터셋과 기존 데이터의 보존 필요성을 확인해야 합니다.

수집할 데이터 지정

선택한 소스에 따라 설정 항목이 다릅니다. 대부분의 시스템은 파일 또는 테이블 배치 동기화 중 하나를 지원하며, 둘 다 지원하는 시스템도 있습니다.

파일 배치 동기화

다음은 S3에서 파일을 수집하면서 빌드마다 SNAPSHOT 트랜잭션을 사용하는 예시입니다.

하위 디렉터리나 필터를 지정하여 파일 범위를 줄일 수 있습니다. 둘 다 지정하지 않으면 소스 연결에서 선택한 루트 디렉터리 아래의 모든 파일이 수집 대상이 됩니다.

파일은 스키마 없이 데이터셋에 기록합니다. 테이블 스키마를 가진 데이터로 사용할지, 후속 변환에서 파일로 처리할지는 이후 작업에 맞추어 정합니다.

테이블 배치 동기화

다음은 Microsoft SQL Server에서 쿼리로 가져올 데이터를 지정하는 예시입니다. 단조 증가하는 열을 기준으로 증분 배치 동기화를 활성화하여 새 데이터를 추가로 수집할 수 있습니다.

SQL 저장 프로시저는 Explore source에서 시각적으로 탐색할 수 없지만, SQL Query 필드에서 EXEC 뒤에 해당 프로시저를 지정하여 실행할 수 있습니다.

공통 실행 옵션

커넥터에 따라 제공되는 옵션이 다르지만 다음 설정을 널리 사용할 수 있습니다.

Foundry 워커에서 실행되는 동기화는 약 48시간을 넘기면 자동으로 취소됩니다.

테이블 동기화 전용 옵션

시간대가 없는 타임스탬프를 처리하는 방식은 선택할 수 있습니다. 기본값은 문자열로 가져오는 것이며, 시간대를 직접 지정하여 timestamp로 가져오거나 long으로 가져오는 방식도 선택할 수 있습니다.

Allow schema changes는 외부 시스템의 스키마가 바뀌었을 때 동기화 실행을 허용할지 정합니다. 기본값은 스키마 변경을 허용하지 않는 것입니다.

저장 전 미리보기

설정을 저장하기 전에 수집 결과의 미리보기를 실행합니다.

• 파일 동기화는 대상 파일 목록을 보여줍니다.
• 테이블 동기화는 선택한 테이블 결과 중 처음 20행을 보여줍니다.

다음은 S3의 csv_files 하위 폴더로 범위를 제한한 예시입니다.

Exclude files already synced 필터를 사용하면 Preview not available 경고가 표시될 수 있습니다. 이미 동기화한 파일을 제외하는 조건은 미리보기 결과에 반영되지 않으며, 실제 예약 실행이나 수동 실행에서 적용됩니다.

저장 후 실행

저장한 동기화의 개요 화면에서 Run으로 수동 실행할 수 있습니다.

일정에 따라 반복하려면 빌드 예약을 구성합니다.

Data Lineage에서 여러 동기화의 예약을 함께 설정할 수도 있습니다. 같은 배치 동기화에 Data Connection과 Data Lineage 양쪽에서 중복으로 예약을 만들지 않습니다. Data Lineage에서 Data Connection 동기화를 예약할 때는 항상 Force build를 사용해야 합니다.

예약이 실행되지 않거나 증분 수집 및 스키마 문제가 발생하면 자주 발생하는 운영 문제에서 확인할 항목을 찾을 수 있습니다. 연결 자체의 문제는 소스 진단으로 구분하여 조사합니다.