IncrementalTransformInput: 증분 Spark 입력

transforms.api.IncrementalTransformInput은 TransformInput에 증분 계산 기능을 추가합니다.

transforms.api.IncrementalTransformInput(
    tinput, prev_txrid=None, batch_end_txrid=None,
)

메타데이터 속성

속성	형식	의미
`batch_incremental_configuration`	BatchIncrementalConfiguration	배치로 읽는 증분 입력의 설정
`branch`	str	데이터셋 브랜치
`column_descriptions`	dict[str, str]	열별 설명
`column_typeclasses`	dict[str, str]	열별 typeclass 메타데이터
`start_transaction_rid`	str	읽기 범위의 시작 트랜잭션 RID
`end_transaction_rid`	str	읽기 범위의 끝 트랜잭션 RID
`path`	str	Compass 경로
`rid`	str	데이터셋 RID

batch_incremental_configuration 속성은 1.7.0에 추가되었습니다.

메서드	기본값과 동작
`dataframe(mode="added")`	current, previous, added 중 선택한 뷰의 PySpark DataFrame
`filesystem(mode="added")`	current, previous, added 중 선택한 뷰의 FileSystem
`pandas()`	pandas.DataFrame 반환. 별도 mode 인자 없음

일반 증분 입력의 dataframe과 filesystem에서는 current, previous, added만 지원합니다. 가상 테이블의 추가 모드를 이 클래스에 적용하지 않습니다.

pandas의 읽기 범위를 명시해야 하면 dataframe(mode=...)로 선택한 뒤 toPandas를 호출합니다. 증분 DataFrame 데코레이터는 입력의 기본 added 경로를 사용합니다. 전체 뷰가 필요하면 current를 명시한 읽기와 구분합니다.