Pipeline Builder에서 소스와 배치 동기화 구성하기

Pipeline Builder에서는 Data Connection 소스를 그래프에 가져오고 지원되는 연결을 구성하거나 배치 데이터셋 동기화를 만들 수 있습니다. 소스를 가져올 수 있는 범위와 Builder 안에서 직접 편집할 수 있는 범위는 다릅니다.

기존 동기화 입력에서 소스 추가

입력이 Data Connection 동기화로 직접 만들어졌다면 해당 데이터 노드의 Add source to graph를 선택합니다.

입력에서 소스를 그래프에 추가

위쪽 Add data에서 Import data to Foundry를 선택합니다. 새 파이프라인의 같은 이름 작업에서도 열 수 있습니다.

데이터 가져오기 메뉴

새 소스와 기존 소스 선택

추가하면 소스와 그 소스에서 동기화한 데이터셋 사이에 연결이 표시됩니다.

소스와 동기화 데이터셋 연결

소스 노드에서 이미 수집한 데이터를 가져오거나, 연결을 구성하거나, 원천을 탐색하여 동기화를 만들 수 있습니다. 표시되는 작업은 소스 유형과 사용자의 권한에 따라 달라집니다.

소스에서 수행할 수 있는 작업

Configure Source는 필수 구성 필드만으로 연결할 수 있는 Foundry 워커 소스를 지원합니다. Foundry 제공 JDBC 소스를 구성할 수 있지만 선택적 연결 속성이나 더 복잡한 설정은 Data Connection에서 다룹니다.

Builder의 간소화된 편집기에서는 소스별 필수값과 네트워크 외부 통신 정책을 지정합니다. 추가 설정이 필요하면 edit this source in Data Connection 경로로 이동합니다.

필수 연결값과 네트워크 정책 설정

소스를 가져오는 동작이 모든 소스의 전체 설정을 Builder에서 편집할 수 있다는 뜻은 아닙니다. 소스 설정과 제공 JDBC 드라이버의 조건을 함께 확인합니다.

Explore source and create syncs를 선택합니다. 이 작업은 배치 데이터셋 동기화를 만드는 소스에만 표시됩니다. 예상한 소스에서 보이지 않으면 소스 유형과 접근 권한을 확인합니다.

원천 탐색 화면에서 사용할 데이터를 고르고 항목 옆의 +로 동기화 대상을 선택합니다. Builder 안에서 만드는 동기화는 현재 배치 데이터셋 동기화입니다.

원천 데이터 탐색과 동기화 선택

생성하여 실행한 동기화는 수집 데이터셋을 한 번 빌드합니다. 이후 파이프라인을 배포해도 그 수집 데이터셋을 자동으로 다시 빌드하지 않습니다. 재수집, 스케줄과 동기화 설정 변경은 Data Connection에서 해당 동기화를 열어 관리합니다.

전체 수집 옵션은 배치 동기화 설정에서 확인할 수 있습니다.