스트리밍 데이터셋과 스트림 API (V2)

데이터셋의 브랜치와 핫 버퍼를 하나의 스트림으로 관리합니다. 스트리밍 데이터셋 생성은 초기 스트림도 만들며, 기존 데이터셋에서는 새 브랜치에 스트림을 추가할 수 있습니다.

구성과 관리

• 스트리밍 데이터셋의 개념
• 데이터셋과 초기 스트림 생성
• 브랜치와 스트림 뷰
• 새 브랜치 스트림 생성
• 스트림 구성 조회
• 기록을 지우는 스트림 초기화
• 스키마, 파티션 키와 CDC

초기화는 새 뷰를 만들고 기존 기록을 지웁니다. 명시적으로 뷰를 고정하는 생산자와 소비자는 현재 viewRid를 사용해야 합니다. 원천 수집과 파이프라인 처리의 일관성은 스트림 저장 및 처리 보장을 따릅니다.

레코드 게시

• JSON 레코드 한 개
• JSON 레코드 배치
• 바이너리 레코드 한 개

바이너리 게시에는 binary 필드 하나만 있는 스트림이 필요합니다. JSON 배치는 하나 이상의 레코드가 스키마 검증에 실패하면 거부됩니다.

파티션 읽기

• 레코드와 오프셋 조회
• 모든 파티션의 끝 오프셋 조회

레코드 조회는 파티션을 명시하며 끝 오프셋 조회는 모든 파티션의 값을 반환합니다. 오프셋은 중간 값이 비어 있을 수 있으며 끝 오프셋은 다음에 기록할 위치입니다. 값의 차이를 행 수로 해석하지 않습니다.