Pipeline Builder의 입력 데이터 선택
파이프라인은 하나 이상의 입력에서 시작합니다. 입력을 정리하고 변환하거나 다른 데이터와 결합한 뒤 데이터셋 또는 온톨로지 등의 출력으로 배포합니다. Pipeline Builder는 정형, 반정형과 비정형 입력을 지원합니다.
데이터 형태별 차이
| 형태 | 입력과 처리 방식 |
|---|---|
| 정형 | 표 데이터 파일과 열 메타데이터인 스키마를 가진 데이터셋을 사용합니다. 수동 테이블, 업로드, 동기화와 가상 테이블도 사용할 수 있습니다. |
| 반정형 | 스키마가 없는 파일 데이터셋을 파싱하여 표로 바꿉니다. CSV, JSON, GeoJSON, XML, Microsoft Excel, KML, shapefile, 일반 텍스트와 이메일 파일이 해당합니다. |
| 비정형 | 이미지, PDF, 오디오 같은 미디어를 미디어 집합 입력으로 사용합니다. |
반정형 파일을 표로 변환하면 후속 연산의 스키마와 자료형 검사를 적용할 수 있습니다. Excel 추출은 .xls, .xlt, .xltm, .xltx, .xlsx, .xlsm을 읽는 경로를 제공합니다. XML은 XSD 파일을 원시 데이터셋에 올리고 Parse XML 변환에서 참조하여 구조를 생성할 수 있습니다.
입력 형식 지원과 각 실행 엔진에서 사용할 수 있는 연산은 별도로 확인합니다. 예를 들어 외부 연산 파이프라인은 같은 소스의 가상 테이블을 요구하고, 수동 입력 테이블은 Standard 배치에서 사용합니다.