미디어 변환과 접근 패턴

Pipeline Builder와 Code Repositories는 입력 미디어 집합을 변환하고 출력 미디어 집합 또는 데이터셋을 만들 수 있습니다. 선택은 필요한 변환과 실행 제어에 따라 달라집니다.

도구 선택

Pipeline Builder는 문서 및 이미지 텍스트 추출, 오디오 전사와 LLM 활용 같은 일반적인 작업에 적합합니다. 예를 들어 PDF 미디어 집합에 Text Extraction 보드의 OCR 옵션을 적용합니다. 미디어 집합을 파이프라인 출력으로 지정할 수도 있습니다.

Code Repositories는 증분 파이프라인, 미디어 집합 외 입력, 외부 라이브러리나 세밀한 제어가 필요할 때 사용합니다. 미디어 집합의 증분 읽기 및 쓰기와 미디어 변환 안의 표 데이터 활용 같은 기능은 이 Python 코드 경로에서 지원합니다.

Python 변환은 transforms.api.transform과 transforms.mediasets의 MediaSetInput, MediaSetOutput으로 입출력을 선언합니다. 예를 들어 images=MediaSetInput('/examples/images'), output_images=MediaSetOutput('/examples/output_images')로 선언하면 실제 변환 함수도 images와 output_images 인자를 받아 사용합니다. 경로는 실제 집합으로 바꾸고 필요한 처리는 해당 미디어 API로 구현합니다. 파일 데이터셋에서 미디어 집합으로 업로드하는 구체적인 예제는 사용량과 대규모 처리에 있습니다.

접근 패턴

접근 패턴(Access pattern)은 미디어 항목에 요청 시 적용할 수 있는 사전 구성 변환입니다. 저장 정책에 따라 매 요청마다 재계산하거나 최초 출력 이후 계속 보관하거나 일정 기간 캐시할 수 있습니다.

Workshop PDF 썸네일 및 미리보기, Preview의 오디오 파형, Map의 위성 영상 타일 등에 사용합니다. 기본 접근 패턴 집합은 미디어 스키마에 따라 정해집니다. 추가 변환을 접근 패턴으로 등록하는 경로는 API 호출입니다.

멀티모달 집합에 적용할 때는 항목 스키마가 해당 패턴을 지원하는지 먼저 검사합니다. 미리보기 또한 변환을 발생시킬 수 있으므로 연산 사용량을 함께 고려합니다.