시간 범위 내 중복 제거

지정한 열 부분집합의 중복 행을 제거하고, 관찰한 행의 상태는 설정한 이벤트 시간 뒤에 만료합니다. 설정한 이벤트 시간보다 더 늦게 도착한 행은 항상 제외합니다. 키별로 분할하여 서로 다른 키 값마다 중복 제거를 수행합니다. 상태 정리는 eviction 윈도 경계에서 이루어지므로 timeout 이후에도 중복으로 제외되는 구간이 생길 수 있습니다.

입력 인자

입출력 예시

예시 1: 기본 동작

00:00:00 첫 레코드를 출력하고 eviction slide가 정하는 다음 tumbling 윈도 경계에 상태 제거를 예약합니다. 기본 slide는 1분입니다. timeout이 10초여도 워터마크가 제거 시점에 도달하지 않아 00:00:09, 00:00:18, 00:00:28 레코드는 모두 중복으로 제외됩니다. 키 만료와 만료+slide 사이에도 중복 제거가 이어집니다.

인자 값:

• Dataset: ri.foundry.main.dataset.test
• Key expiration time unit: SECONDS
• Key expiration time value: 10
• Column subset: null
• Eviction window slide: null
• Key by columns: null

입력:

출력:

예시 2: 기본 동작

day 열로 분할하면 키별 상태가 독립적입니다. Monday의 00:00:20 첫 레코드는 출력하고 워터마크를 진행시킵니다. Tuesday의 00:00:05 레코드는 timeout 10초를 더한 00:00:15가 약 00:00:20인 워터마크보다 과거이므로 이전 기록이 없어도 제외됩니다. Wednesday의 00:00:25 레코드는 늦지 않아 해당 키의 첫 행으로 출력합니다.

인자 값:

• Dataset: ri.foundry.main.dataset.test
• Key expiration time unit: SECONDS
• Key expiration time value: 10
• Column subset: null
• Eviction window slide: null
• Key by columns: {day}

입력:

출력: