미디어 집합 동기화
Data Connection은 지원되는 파일 소스의 문서, 이미지, 음성 및 영상 등을 미디어 집합(Media set)으로 동기화할 수 있습니다. 직접 지원하는 소스에는 Amazon S3와 OneLake 및 Azure Blob Filesystem이 있습니다. 소스 생성 화면에서 Media Sync로 검색하면 사용할 수 있는 소스를 확인할 수 있습니다.
일반 동기화와 가상 동기화
Media set sync는 파일을 Foundry의 기반 저장소로 가져옵니다. Virtual media set sync는 파일을 복사하지 않고 외부 소스에서 직접 읽는 가상 미디어 집합을 구성합니다. 지원 소스에서는 같은 생성 절차 중 동기화 유형을 선택합니다.
가상 미디어 집합에는 추가 제약이 있습니다. Amazon S3는 Access key and secret 인증만 지원하고 STS 역할 연결은 지원하지 않습니다. 에이전트 연결로 가상 미디어 집합 동기화를 만들 수 없으며, 추가 입력 형식도 구성할 수 없습니다. 원천 파일의 갱신과 삭제를 자동으로 알지 못하므로, 외부에서 파일을 삭제하면 집합에 항목이 남아도 내용을 읽을 수 없게 됩니다. 변환한 출력은 Foundry에 저장될 수 있으므로 외부 원본의 가상화가 모든 저장 비용을 없애는 것은 아닙니다.
소스와 파일 종류 설정
+ New Source에서 지원 소스를 선택합니다.- 필요한 네트워크 정책을 가져올 권한을 준비하고 소스의 주소, 인증 정보 및 외부 통신 정책을 구성합니다.
- 소스
Overview의Media set syncs에서 동기화를 생성합니다. 가상 집합을 사용할 때에는Virtual media set sync를 선택합니다.
- 수집할 미디어 파일 종류를 선택합니다. 미디어 집합은 Audio, DICOM, Document, Email, Image, Spreadsheet 및 Video 스키마를 구분합니다. 예를 들어 Document의 기본 형식은 PDF이고 DOCX, PPTX와 TXT는 추가 입력 형식으로 처리합니다. 원천 파일과 선택한 스키마 및 형식이 맞아야 합니다.
지원되는 파일 형식과 추가 입력 형식의 조건은 미디어 집합에 정리되어 있습니다. 가상 집합은 가상 미디어 접근 조건도 적용합니다.
실행 일정과 수집 경로
- 수집을 실행할 빌드 일정을 만듭니다. 생성 후에도 일정을 수정할 수 있습니다.
- 소스 안의 대상 하위 폴더를 지정합니다. 파일이 소스의 루트에 있다면 하위 폴더를 추가하지 않아도 됩니다.
필터와 실패 조건
| 필터 | 동작 |
|---|---|
Exclude files already synced | 미디어 집합에 같은 경로가 이미 있는 파일은 다시 수집하지 않습니다. |
Path matches | 소스 루트 기준 상대 경로가 지정한 정규식에 맞는 파일만 동기화합니다. |
File size limit | 지정한 크기 한도를 초과하지 않는 항목만 업로드합니다. |
Ignore items not matching schema | 켜면 스키마에 맞지 않는 항목을 건너뜁니다. 끄면 그러한 항목 때문에 동기화가 실패합니다. |
설정이 끝나면 Save media set sync를 선택합니다. Run으로 첫 동기화를 시작하고 미디어 집합에서 결과를 확인합니다.
직접 미디어 동기화를 지원하지 않는 소스
지원하지 않는 파일 소스는 먼저 일반 데이터셋으로 수집한 뒤 Python 변환에서 파일을 읽어 미디어 집합에 기록합니다. 예를 들어 SharePoint Online 파일은 SharePoint Online 소스로 데이터셋에 동기화한 다음 변환할 수 있습니다. SMB의 미디어 집합 출력 예제에도 파일을 읽어 미디어 집합에 기록하는 코드가 있습니다.
미디어 집합을 만든 뒤에는 Pipeline Builder의 미디어 변환을 사용하여 내용을 추출하고 후속 데이터 파이프라인에 연결할 수 있습니다.