TransformInput: Spark 실행 입력

transforms.api.TransformInput은 Transform의 compute 함수에 런타임 입력으로 주입됩니다. 선언용 Input 명세와 구분합니다.

transforms.api.TransformInput(
    rid, branch, txrange, dfreader, fsbuilder, batch_incremental_config=None,
)

메타데이터 속성

속성	형식	의미
`batch_incremental_configuration`	BatchIncrementalConfiguration	배치로 읽는 증분 입력의 설정
`branch`	str	데이터셋 브랜치
`column_descriptions`	dict[str, str]	열별 설명
`column_typeclasses`	dict[str, str]	열별 typeclass 메타데이터
`start_transaction_rid`	str	읽기 범위의 시작 트랜잭션 RID
`end_transaction_rid`	str	읽기 범위의 끝 트랜잭션 RID
`path`	str	Compass 경로
`rid`	str	데이터셋 RID

메서드	반환과 동작
`dataframe()`	데이터셋 전체 뷰의 pyspark.sql.DataFrame
`pandas()`	데이터셋 전체 뷰의 pandas.DataFrame
`filesystem()`	FoundryFS에서 읽을 FileSystem

증분 실행의 모드 선택은 IncrementalTransformInput의 별도 계약을 따릅니다. Spark의 dataframe과 경량 입력의 dataframe은 반환 유형이 다릅니다.