ComputeBackend: Spark 실행 백엔드

transforms.api.ComputeBackend는 configure에서 사용하는 실행 백엔드 열거형입니다.

transforms.api.ComputeBackend(*values)

VELOX도 Spark 변환의 네이티브 가속 경로입니다. Spark 없는 경량 단일 노드 변환을 선택하는 설정으로 사용하지 않습니다.

from transforms.api import ComputeBackend, Input, Output, configure, transform


@configure(backend=ComputeBackend.SPARK)
@transform(
    my_input=Input("/path/to/input/dataset"),
    my_output=Output("/path/to/output/dataset"),
)
def my_compute_function(my_input, my_output):
    my_output.write_dataframe(my_input.dataframe())

위 경로는 가상 데이터셋 예시입니다. 네이티브 가속을 선택하려면 backend에 ComputeBackend.VELOX를 지정합니다.