Faster 파이프라인 생성과 전환
Faster는 Rust 기반 DataFusion 엔진을 사용하는 Pipeline Builder 실행 방식입니다. Standard의 Spark 실행과 비교하여 시작 부담과 연산 사용량을 줄일 수 있으며, 특히 실행 시간이 15분 미만인 배치 또는 증분 데이터셋 파이프라인에 적합할 수 있습니다.
이전 이름은 lightweight pipelines였습니다. 이름의 의미는 입력이 반드시 작아야 한다는 제한보다 실행 시간과 자원 사용을 줄인다는 데 있습니다. 적절한 연산에서는 큰 입력도 처리할 수 있습니다.
새 Faster 파이프라인
- Pipeline Builder에서
Create new pipeline을 선택합니다. - 이름과 저장 위치를 지정합니다.
Pipeline type에서Faster pipeline을 선택합니다.Create pipeline을 누릅니다.
기본 입력, 변환과 출력 구성은 배치 파이프라인 작성과 같습니다. 아래 지원 제한에 걸리지 않으면 Faster를 먼저 검토하고, 데이터 규모나 필요한 연산이 맞지 않으면 Standard로 전환할 수 있습니다.
Standard와 상호 전환
기존 파이프라인의 Settings에서 Convert to Faster pipeline을 선택합니다. 반대로 돌아가려면 Convert to Batch pipeline을 선택합니다. 같은 절차로 실행 방식을 다시 바꿀 수 있습니다.
호환되는 경우에는 확인 대화상자가 표시됩니다. 호환되지 않으면 지원하지 않는 표현식이나 변환의 목록을 확인하고 필요한 부분을 변경해야 합니다.
언제든 Show pipeline conversion checks를 켜서 호환성을 확인할 수 있습니다. 아래쪽 Pipeline warnings에 Faster conversion compatibility checks가 나타나며 각 행의 Go to node 아이콘으로 해당 노드로 이동할 수 있습니다.
지원 제한과 결과 차이
Faster는 Standard의 모든 연산을 제공하지 않습니다. 예를 들어 LLM 호출과 도형 면적은 Faster를 지원하지 않습니다. PDF 텍스트 추출과 GeoPoint 생성은 Faster에서도 사용할 수 있습니다.
전환하기 전에는 Faster conversion compatibility checks에서 실제 파이프라인의 입출력과 연산 조합이 호환되는지 확인합니다.
지원되는 표현식도 다음 차이가 있을 수 있으므로 Preview와 실제 빌드 출력을 확인합니다.
| 항목 | Faster의 동작 또는 제한 |
|---|---|
| 부동소수점 | 마지막 자릿수의 결과가 달라질 수 있습니다. |
| Decimal 오버플로 | NULL 출력 대신 오류를 발생시킵니다. |
| Struct 비교 | <, >, == 등의 비교를 지원하지 않습니다. |
pow 오버플로 | inf 대신 NULL을 반환합니다. |
| 복합 자료형 캐스팅 | Struct, Array, Map과 문자열 사이의 변환에서 차이가 있을 수 있습니다. null의 문자열 표현도 달라질 수 있습니다. |
| 날짜와 시각 형식 | TimestampToString, DateToString, StringToTimestamp, StringToDate가 지원하는 형식이 제한됩니다. |
| 복합 자료형 최솟값 및 최댓값 | Struct, Array, Map에 대한 min과 max를 지원하지 않습니다. |
| 빈 출력 | 빈 파일 하나 대신 파일 0개를 만듭니다. |
| 빌드 통계 | 행 수 이외의 통계를 지원하지 않습니다. |
| 시계열 참조 값 생성 | 지원하지 않습니다. |
| 학습된 모델 노드 | 지원하지 않습니다. |
일반 데이터셋의 증분 지원을 다른 자산 유형에 그대로 적용하지 않습니다. 예를 들어 Iceberg 입력 및 출력은 전용 엔진 지원표를 확인해야 합니다.
실행 방식 비교
다음 규모는 일반적인 선택 기준이며 고정 한도가 아닙니다. 허용 행 수는 스키마와 연산에 따라 달라집니다. 적절한 변환은 Faster 단일 노드에서도 테라바이트 규모 입력을 처리할 수 있습니다.
| 특성 | Standard | Faster |
|---|---|---|
| 적합한 비압축 데이터 크기 | 50GB 초과 | 약 1~50GB |
| 일반적인 행 수 참고 범위 | 2억 행 초과 | 약 100만~2억 행 |
| 시작 부담 | 큼 | 작음 |
| 메모리 효율 | 좋음 | 매우 좋음 |
| 작은 데이터 처리 | 느림 | 매우 빠름 |
| 중간 데이터 처리 | 빠름 | 매우 빠름 |
| 큰 데이터 처리 | 매우 빠름 | 연산에 따라 다름 |
| 병렬 실행 | 분산 | 단일 노드 |
| 메모리 초과 시 디스크 사용 | 자동 | 자동 |
브랜치나 파이프라인 복사본에서 전환하여 기존 구성과 결과 및 성능을 비교할 수 있습니다. 지원되지 않는 연산이 있거나 입력 규모와 실행 계획이 Standard에 더 적합하면 Standard를 선택합니다.