HTTPS Listener 이벤트 처리 방식

HTTPS Listener는 수신한 이벤트를 스트림에 기록합니다. Data Connection에서 해당 Listener의 Overview를 열면 출력 스트림을 찾을 수 있습니다. 처리 지연, 상태 유지 필요성, 재처리 보장에 따라 Automate, 스트리밍 파이프라인 또는 배치 파이프라인을 선택합니다.

Automate에서 이벤트별 실행

Automate는 스트림의 새 이벤트마다 액션이나 함수를 실행할 수 있습니다. 온톨로지 객체를 생성하거나 AIP Logic을 실행하고, 함수에서 소스를 사용하여 외부 시스템에 데이터를 쓰는 흐름을 구성할 수 있습니다. 이벤트를 보낸 시스템에 응답을 보내는 경우에도 수신 Listener와 별도로 외부 호출용 소스가 필요합니다.

다음 조건에 맞으면 Automate가 적합합니다.

• 이벤트 처리량이 높지 않습니다. 스트리밍 데이터셋을 직접 감시하는 Automate 조건은 초당 200레코드를 초과하지 않는 입력에 사용합니다.
• 이벤트 사이에 상태를 유지할 필요가 없습니다.
• 수 초의 처리 지연을 허용할 수 있습니다.
• 최소 한 번 처리 보장(At-least-once semantics)으로 충분합니다.

최소 한 번 처리는 같은 이벤트가 다시 처리될 수 있음을 뜻합니다. 외부 시스템에 쓰기를 수행하는 액션은 반복 실행의 영향을 고려해야 합니다. Listener, AIP 챗봇, 쓰기용 소스와 Automate를 연결하는 실제 구성 절차는 Slack 챗봇 예제에 있습니다.

스트림의 Binary 열을 액션이나 Logic 입력으로 연결하면 Automate가 내용을 문자열로 디코딩합니다. Listener의 원본 payload 열을 문자열 입력에 연결할 때 이 변환이 적용됩니다. 실행 순서를 유지해야 하면 효과 실행을 큐에 넣는 설정을 사용할 수 있습니다.

스트리밍 파이프라인

스트리밍 파이프라인은 더 낮은 처리 지연이 필요하거나, 이벤트 사이의 상태를 유지하는 변환이 필요할 때 선택합니다. 높은 처리량을 다룰 수 있고, 실행 설정에 따라 정확히 한 번 처리 보장(Exactly-once semantics)을 선택할 수 있습니다. 사용자 정의 함수(UDF)를 이용한 실시간 처리도 가능합니다.

이러한 처리 기능은 후속 파이프라인의 특성입니다. 앞단의 HTTPS Listener에는 대략 초당 100건과 개별 이벤트 1 MB의 수신 제한이 별도로 적용됩니다. 수신량 자체가 높은 경우에는 스트리밍 동기화 또는 공개 스트리밍 API를 검토합니다.

배치 파이프라인

Listener의 이벤트 스트림은 수 분 간격으로 기반 데이터셋에 아카이브됩니다. 스트림을 Archive 모드로 전환하면 이 데이터셋에 접근할 수 있습니다. 일반 데이터셋처럼 변환 파이프라인의 입력으로 사용하거나 온톨로지 객체의 데이터를 제공할 수 있습니다.

실시간 반응보다 이력 분석이나 주기적인 집계가 목적이면 배치 파이프라인을 사용합니다. 스트림 수신 시각과 기반 데이터셋에 아카이브되어 배치 처리에 보이는 시각은 같지 않습니다.