스트리밍 동기화 구성과 실행
스트리밍 동기화(Streaming sync)는 외부 시스템의 데이터를 가능한 한 짧은 지연으로 Foundry에 가져오기 위해 계속 실행됩니다. 주기적으로 실행되는 배치 또는 증분 배치 동기화와 실행 방식이 다릅니다.
구성할 항목은 원천 데이터, 출력 위치, 스트리밍 설정입니다. 아래 화면은 Kafka 소스의 토픽을 Foundry 스트림으로 가져오는 예시입니다.
1. 가져올 데이터 선택
Data Connection에서 스트리밍 소스를 선택합니다. 소스 유형에 따라 오른쪽 위의 작업이 다릅니다.
| 작업 | 표시 조건과 용도 |
|---|---|
| Explore and create syncs | 원천 탐색을 지원하는 소스에서 표시됩니다. 데이터를 둘러보면서 동기화를 만듭니다. |
| Create sync | 원천 탐색을 지원하지 않는 소스에서 표시됩니다. 바로 동기화 설정으로 이동합니다. |
Kafka 토픽 탐색
Explore source의 구성은 소스 유형에 따라 다릅니다. Kafka 소스에서는 브로커의 토픽 목록을 왼쪽에서 확인할 수 있습니다.
토픽을 선택하면 그 토픽의 데이터 표본을 미리 볼 수 있습니다.
2. 출력 위치 지정
수집한 데이터를 저장할 위치를 선택합니다. 결과 데이터에 대한 접근은 해당 프로젝트의 권한을 따릅니다.
소스와 결과 데이터셋을 같은 프로젝트에 나란히 두면 권한을 일관되게 관리하기 쉽습니다. 위치를 선택한 뒤 오른쪽 위의 Create streaming sync를 선택합니다.
3. 스트리밍 설정
Sync creation 화면에는 소스별 설정과 공통 스트리밍 설정이 있습니다.
| 영역 | 설정 내용 |
|---|---|
| 위쪽의 소스별 설정 | 커넥터와 대상 시스템에 전달할 매개변수 |
| 아래쪽의 공통 스트리밍 설정 | 처리량, 입력 스키마와 동기화 출력 대상 |
연산 자원
지원되는 소스에서는 추가 설정의 Compute profile settings에서 컴퓨팅 프로필 크기를 선택할 수 있습니다.
에이전트 워커 소스는 에이전트 호스트에서 연산을 실행하므로 이 옵션을 사용할 수 없습니다.
처리량과 파티션
스트림의 처리량을 선택하면 생성할 파티션 수가 결정됩니다. 파티션이 많을수록 더 높은 처리량을 사용할 수 있습니다. Normal은 스트림당 최대 5MB/s를 허용합니다.
Normal은 도착한 행의 순서를 보장하고 연산 비용이 가장 낮은 선택지입니다. Very high는 5MB/s를 넘는 처리량에 사용하며 도착 순서를 보장하지 않고 연산 비용이 더 높습니다. 처리량만 보고 선택하지 말고 후속 작업에 순서 보장이 필요한지도 확인합니다.
입력 스키마
입력 스키마는 기본적으로 원천에서 추론합니다. 필요하면 추론 결과를 재정의할 수 있습니다.
설정을 마치면 오른쪽 위의 Create Sync를 선택합니다. 동기화가 생성되면 Overview 탭으로 이동합니다.
4. 실행과 데이터 확인
Overview에서 출력 데이터셋, 저장 위치와 사용할 수 있는 작업을 확인합니다. Start를 선택하면 외부 스트림에서 Foundry로 데이터를 가져오기 시작합니다.
생성할 때 지정한 출력 스트림으로 이동하여 미리보기를 엽니다. Kafka 토픽에서 들어오는 레코드를 확인할 수 있습니다.
스트리밍 연결은 데이터를 외부에서 읽어 오는 경로입니다. 외부 시스템이 직접 Foundry로 데이터를 보내는 푸시 기반 수집이나, 수집한 스트림을 온톨로지에 연결하는 후속 처리와는 구분하여 구성합니다.