IncrementalTransformContext: 증분 Spark 실행 맥락
transforms.api.IncrementalTransformContext는 TransformContext에 증분 실행 정보를 추가한 맥락 객체입니다. incremental로 감싼 Spark 변환에서 주입합니다.
transforms.api.IncrementalTransformContext(is_incremental, snapshot_inputs, *args)
| 메서드 또는 속성 | 형식 | 동작 |
|---|---|---|
abort_job() | 메서드 | 실행 종료 및 이 작업의 모든 출력 트랜잭션 중단 |
auth_header | str | 실행에 사용하는 인증 헤더 |
environment | list[str] | 의존 관계 해석을 마친 conda 패키지 목록 |
fallback_branches | list[str] | 실행에 구성한 fallback 브랜치 목록 |
is_incremental | bool | 현재 변환이 증분 실행 중인지 여부 |
parameters | dict[str, any] | 변환 매개변수 |
spark_session | pyspark.sql.SparkSession | 변환에 사용하는 Spark 세션 |
abort_job은 1.7.0에 추가되었습니다. is_incremental은 현재 실행 상태이므로 데코레이터가 붙어 있다는 사실만으로 항상 True인 값으로 해석하지 않습니다. 초기 실행이나 증분 조건을 충족하지 못한 실행의 정책은 incremental 설정을 따릅니다.