TableTransformInput: 가상 테이블 입력
transforms.api.TableTransformInput은 가상 테이블 입력에서 런타임에 주입하는 객체입니다. TransformInput API를 따르는 인터페이스를 제공합니다.
transforms.api.TableTransformInput(rid, branch, table_dfreader)
메타데이터 속성
| 속성 | 형식 | 의미 |
|---|---|---|
batch_incremental_configuration | BatchIncrementalConfiguration | 배치로 읽는 증분 입력의 설정 |
branch | str | 데이터셋 브랜치 |
column_descriptions | dict[str, str] | 열별 설명 |
column_typeclasses | dict[str, str] | 열별 typeclass 메타데이터 |
start_transaction_rid | str | 읽기 범위의 시작 트랜잭션 RID |
end_transaction_rid | str | 읽기 범위의 끝 트랜잭션 RID |
path | str | Compass 경로 |
rid | str | 데이터셋 RID |
테이블 식별 정보
| 속성 | 형식 | 조건 |
|---|---|---|
catalog | str | 테이블의 Spark 카탈로그 이름. 기반 유형이 노출하지 않으면 ValueError |
identifier | str | 카탈로그 접두사가 포함된 완전한 Spark V2 테이블 식별자. 기반 유형이 노출하지 않으면 ValueError |
catalog는 기반 테이블 유형이 지원하는 Spark procedure에 사용할 수 있습니다. 모든 테이블 유형에서 두 속성을 사용할 수 있다고 가정하지 않습니다.
읽기
dataframe(options=None)은 테이블 전체 뷰의 pyspark.sql.DataFrame을 반환합니다. options는 추가 Spark 읽기 옵션의 선택적 dict입니다. pandas()는 전체 뷰의 pandas.DataFrame을 반환합니다. filesystem()은 FoundryFS 읽기에 사용할 FileSystem을 구성합니다.
증분 버전과 Iceberg 변경 로그는 IncrementalTableTransformInput의 계약을 확인합니다.