문서 추출, 전처리와 평가

전통적 추출

PDF 메타데이터 추출, OCR과 레이아웃 탐지는 LLM을 사용하지 않는 알고리즘 기반 방식입니다. 미디어 항목 변환 기능이 이를 실행합니다. 문서-텍스트 변환에서 내장 텍스트와 스캔 문서를 구분하고 페이지 범위 및 출력 형식을 설정합니다.

VLM 전처리

Configuration > Generative AI에서 Preprocess document를 켜면 전통적 OCR을 먼저 실행합니다. OCR 결과와 문서 페이지 자체를 VLM에 함께 전달하여 복잡한 문서 해석에 사용할 추가 문맥을 제공합니다.

평가

추출 평가는 플랫폼 인스턴스에 Anthropic Claude 4 Sonnet이 제공되는 경우에만 수행할 수 있습니다. VLM을 평가자로 사용하여 표, 제목 등 여러 요소를 1점부터 5점까지 평가합니다. 1은 가장 낮고 5는 가장 높은 점수입니다. 프롬프트와 전략을 비교할 때 이 정성 평가와 실제 추출 결과를 함께 검토합니다.

배포 경로

Python 변환은 미디어 집합 전체의 문서를 배치로 처리합니다. 생성 템플릿에는 데이터셋 및 모델 RID 또는 경로, 사용자 프롬프트와 선택 구성이 반영됩니다. 빌드 전에 이 구성을 확인합니다.

Python 함수는 한 번에 한 페이지를 추출합니다. Deploy to functions의 안내와 생성 코드를 사용하여 저장소를 구성하고, Automate 같은 조정 수단으로 온톨로지에 맞는 전체 추출 업무를 구성합니다.