비정형 파일 파이프라인

Foundry의 비정형 데이터셋은 파일의 집합입니다. 표 형식 데이터셋도 내부적으로 파일을 저장하지만, 비정형 데이터셋은 파일 내용을 행과 열로 해석할 스키마가 없을 수 있습니다. 변환에서 파일을 읽고 필요한 형식으로 파싱한 뒤 파일 또는 표로 출력합니다.

표 파이프라인과 공통인 기능

비정형 입력에도 증분 처리를 적용하여 새 파일만 처리할 수 있고, 단위 테스트로 파싱 및 변환 로직을 확인할 수 있습니다. 출력은 빌드로 계산하고 스케줄로 반복 실행합니다. 데이터 계보와 접근 제한도 파이프라인을 따라 적용됩니다.

항목	차이
입력 처리	처음부터 DataFrame을 받는 대신 파일시스템 API로 파일을 열고 읽습니다.
출력 처리	파일시스템 API로 결과 파일을 쓰거나 파싱한 값을 스키마가 있는 표로 변환합니다.
품질 검사	행과 열 스키마가 없으면 그 구조에 의존하는 일부 검사를 사용할 수 없습니다. 파일 내용이나 파싱 결과에 맞는 검증을 설계해야 합니다.
병렬 처리	Spark로 여러 파일을 병렬 처리할 수 있지만 DataFrame 변환보다 낮은 수준의 API와 실행 방식에 대한 이해가 필요합니다.

Python과 Java 변환은 데이터셋 파일을 읽고 쓰는 API를 제공합니다. 파일을 정리하고 정규화한 뒤에는 Code Workbook에서 비정형 데이터에 접근하여 Python 또는 R로 분석하거나 머신러닝 모델을 학습할 수도 있습니다.

CSV와 JSON처럼 행과 열로 해석할 수 있는 파일은 스키마 적용 및 추론을 통해 표로 읽을 수 있습니다. 스키마가 고정되어 있는지 매번 달라지는지에 따라 UI의 정적 스키마와 빌드 시 동적 추론을 선택합니다.