Transforms Python API

Transforms Python API는 입력 및 출력 명세, compute 함수와 실행 설정을 묶어 Pipeline을 구성합니다. 기본 Python 변환 저장소의 src/myproject/datasets/examples.py에서 transforms.api를 가져와 변환을 선언할 수 있습니다. 선언용 명세와 실행 중 주입되는 객체는 역할이 다릅니다.

최소 경량 변환

입력 표를 읽어 출력에 기록하는 가상 예시입니다. 두 경로를 실제 데이터셋으로 지정하고, meta.yml에 polars를 run 의존성으로 추가합니다.

from transforms.api import Input, Output, transform, LightweightInput, LightweightOutput


@transform.using(
    output_dataset=Output("/path/to/output/dataset"),
    input_dataset=Input("/path/to/input/dataset"),
)
def compute(input_dataset: LightweightInput, output_dataset: LightweightOutput) -> None:
    output_dataset.write_table(input_dataset.polars(lazy=True))

PySpark DataFrame 변환

PySpark DataFrame을 바로 반환하는 방식은 transform_df를 사용합니다. 다음 가상 입력에는 문자열 hair 열이 있습니다.

from transforms.api import transform_df, Input, Output


@transform_df(
    Output("/path/to/output/dataset"),
    hair_eye_color=Input("/path/to/input/dataset"),
)
def filter_hair_color(hair_eye_color):
    return hair_eye_color.filter(hair_eye_color.hair == "Brown")

실행 방식과 자료형

PySpark 변환은 Spark 입출력과 실행 맥락을 사용합니다. transform.using과 transform_polars는 Spark 없는 단일 노드 경로입니다. transform_pandas의 기본 Spark 경로는 계산 전후에 DataFrame을 변환하며 pandas로 가져올 데이터가 드라이버 메모리에 들어가야 합니다. DuckDB 관계를 표 출력으로 전달하는 경로는 Dataset 및 경량 출력의 지원 유형을 따릅니다.

주제별 계약은 등록과 실행 방식, 입출력 명세, 런타임 객체, 값 매개변수, 표와 원시 파일에서 확인할 수 있습니다.

함수와 데코레이터

클래스

예외