원천 동기화부터 증분으로 구성하기

증분 파이프라인의 효과를 수집 단계까지 적용하려면 동기화도 새 데이터만 가져와 APPEND 트랜잭션으로 누적하도록 구성합니다. 원천을 매번 SNAPSHOT으로 수집한 뒤 하위 변환에서 추가 전용 데이터셋을 만들 수도 있지만, 수집 자체의 반복 작업은 줄지 않습니다.

원천부터 증분 수집을 사용하면 원천 시스템에 보내는 요청과 전송량을 줄이고 저장 공간 사용량도 줄일 수 있습니다. 데이터셋에는 과거 데이터와 새 데이터가 함께 누적되므로 하위 변환은 마지막 처리 이후의 추가분을 읽어야 합니다.

파일 기반 원천

새 경로의 파일이 추가되는 원천에서는 APPEND와 Exclude files already synced를 함께 사용합니다. 이미 수집한 경로를 다시 가져오지 않도록 하는 구성입니다. APPEND만 선택하면 파일 제외 필터가 자동 적용되는 것은 아닙니다.

기존 경로의 파일 내용이 바뀌는 원천은 추가 전용 모델과 구분합니다. 수정 시각이나 파일 크기 비교로 변경 파일을 다시 가져오면서 덮어쓰려면 UPDATE가 필요하며, 실제로 기존 파일을 덮어쓰는 변경은 하위의 추가 전용 처리 조건을 깨뜨릴 수 있습니다.

파일 수가 많으면 전체 목록을 확인하는 비용도 고려합니다. 커넥터가 지원하면 마지막 동기화 이후의 수정 시각을 사용하는 방식이나 최근 데이터 범위를 분리하는 방식도 검토할 수 있습니다. 실제 필터와 실패 시 처리 조건은 파일 배치 동기화에서 설명합니다.

데이터베이스와 데이터 웨어하우스

JDBC 원천은 증분 조회 조건으로 이전에 가져온 구간 이후의 행을 선택합니다. 커서 열, 시작 값과 초기 조회 범위를 원천의 데이터 생성 방식에 맞춰 설정해야 합니다.

이 방식은 변경되지 않은 과거 행을 다시 읽는 일을 줄입니다. 기존 행의 수정과 삭제까지 반영해야 하는 경우에는 단순한 추가 행 수집만으로 충분한지 별도로 판단해야 합니다. 커서 경계와 분할 조건은 JDBC 증분 동기화에서 다룹니다.

수집 트랜잭션이 비증분 갱신으로 전환될 수 있다면 후속 변환에도 전체 입력을 다시 계산하는 경로가 필요합니다. 수집의 증분 설정과 변환의 증분 설정을 함께 설계합니다.