스트리밍 파이프라인 설계
스트리밍 파이프라인은 전용 연산 자원을 계속 실행하여 새 레코드를 처리하고 다음 단계로 전달합니다. 표준적인 구성에서는 데이터가 온톨로지와 Quiver 또는 Foundry Rules 같은 분석 및 업무 기능에서 평균 15초 미만으로 이용 가능해질 수 있습니다. 실제 지연은 원천, 네트워크, 변환과 소비 계층에 따라 달라지므로 이 수치를 고정 SLA로 사용하지 않습니다.
상태 없는 변환과 상태를 유지하는 변환
상태 없는 변환은 각 행을 독립적으로 처리합니다. 예를 들어 한 열의 값에 상수를 더하는 작업은 과거 행을 기억할 필요가 없습니다.
상태를 유지하는 변환은 앞서 처리한 행의 정보를 보관합니다. 윈도 집계, 누적 계산과 조인에 사용할 수 있지만 상태 크기, 만료와 복구를 함께 설계해야 합니다. 동작과 시간 기준은 상태 기반 변환에서 설명합니다.
운영 전에 정할 조건
스트리밍은 업무 판단에 바로 사용하는 경우가 많으므로 중단, 유지보수와 로직 변경에 따른 영향을 계획해야 합니다. 상태를 사용하는 로직을 바꿀 때는 기존 상태와 새 처리 방식의 호환성도 고려합니다.
연산은 데이터가 잠시 들어오지 않아도 계속 사용됩니다. 가장 작은 적합한 프로필에서 시작하고 최대 입력량을 처리할 수 있도록 자원과 병렬성을 조정합니다. 과도한 할당과 피크 부하를 처리하지 못하는 할당을 모두 피해야 합니다.
낮은 지연으로 레코드를 전달하기 위해 개별 행의 크기는 1MB로 제한됩니다. 레코드 수뿐 아니라 행 하나의 크기도 수집 전에 고려합니다.
구성 경로와 판단 기준
| 주제 | 내용 |
|---|---|
| 배치와 비교 | 지원 기능, 언어, 상태 관리, 장애 영향과 비용을 비교합니다. |
| 지연과 처리량 | 단계별 지연, 일관성 모드, 병목과 압축의 효과를 설명합니다. |
| 연산 사용량 | 상시 처리와 아카이브 작업의 산식 및 귀속 리소스를 구분합니다. |
| 키 설정 | 파티션 순서와 CDC 현재 뷰, 메타데이터 전파를 구분합니다. |
| 상태 기반 변환 | 워터마크, 유휴 입력, 상태 만료와 윈도 트리거를 구성합니다. |
원천 데이터는 스트리밍 동기화로 가져오거나 푸시 수집으로 보낼 수 있습니다. Pipeline Builder에서 스트리밍 변환을 구성한 뒤 프로필과 모니터링을 함께 설정합니다.