transform_polars: Polars DataFrame 변환
transforms.api.transform_polars는 Polars DataFrame을 받고 반환하는 compute 함수를 등록합니다. 단일 노드 경량 변환을 구성하며 일반 Spark 변환 API의 일부 기능만 지원합니다. Spark 프로파일은 사용할 수 없습니다.
transforms.api.transform_polars(output, **inputs)
| 인자 | 형식 | 의미 |
|---|---|---|
output | Output | 단일 출력 명세 |
**inputs | 이름별 Input 명세 | compute 함수에 전달할 입력들 |
저장소의 meta.yml에 polars를 run 의존성으로 추가합니다. pandas 변환과 비슷한 선언 형태지만 입력 및 반환값이 Polars DataFrame이라는 점을 구분합니다.
id 열이 있는 두 가상 입력을 내부 조인하는 예시입니다.
from transforms.api import Input, Output, transform_polars
@transform_polars(
Output("/path/to/output/dataset"),
first_input=Input("/path/to/first/input/dataset"),
second_input=Input("/path/to/second/input/dataset"),
)
def my_compute_function(first_input, second_input):
return first_input.join(second_input, on="id", how="inner")
함수에 선택적 ctx 인자를 추가하면 경량 실행 맥락을 사용할 수 있습니다. 지원 속성과 작업 중단 동작은 LightweightContext를 따릅니다.