AIP Document Intelligence
AIP Document Intelligence는 미디어 집합(Media set)의 문서에서 텍스트와 구조를 추출하는 전략을 비교하고 배포하는 환경입니다. 전략별 품질, 실행 시간과 토큰 소비를 확인하고 선택한 구성을 Python 배치 변환으로 내보낼 수 있습니다.
추출 방식
| 방식 | 동작 |
|---|---|
| Raw text | 전자적으로 생성된 PDF의 메타데이터와 내장 텍스트를 읽습니다. 스캔 PDF에는 사용할 수 없습니다. |
| OCR | 광학 문자 인식으로 텍스트를 추출하며 레이아웃 정보는 보존하지 않습니다. |
| Layout-aware OCR | 경계 상자(Bounding box)를 사용하여 문서 구조와 배치를 보존합니다. |
| Generative AI | 시각 언어 모델(Vision language model, VLM)로 Markdown을 추출합니다. 기본 추출 프롬프트를 사용하거나 구성 화면에서 수정할 수 있습니다. |
복잡한 문서에는 OCR이나 레이아웃 인식 전처리 결과를 페이지 이미지와 함께 VLM에 제공할 수 있습니다. 추출 Markdown을 PDF 경계 상자와 대응시켜 누락이나 잘못된 순서를 확인합니다.
구성부터 배포까지
- 홈에서 기존 미디어 집합을 선택하거나 새 미디어 집합을 업로드합니다.
Configuration에서 전통적 방식 또는 생성형 AI를 선택합니다. 필요하면 전처리를 켜고 VLM 프롬프트를 조정한 뒤Save로 구성을 저장합니다.
Configuration오른쪽 위Run을 선택하여 전략을 실행합니다.Extraction result에서 출력을 확인합니다.- 선택적으로
Evaluate results에서 모델을 평가자로 사용합니다. 목록, 표, 코드 블록 등의 품질과 실행 시간 및 입력/출력 토큰을 비교하면서 구성을 조정합니다. 평가에는 모델 사용 조건이 있습니다.
- 선택적으로 결과 옆
Chunk에서 텍스트 분할을 미리 보고 청크 매개변수를 바꿉니다. Deployment에서 저장 구성을 선택하고Create transform repository를 누릅니다. 새 Python 변환 저장소의 이름과 위치를 정하고 필요하면 청크 분할과 임베딩을 활성화합니다.- 생성 저장소의 출력 데이터셋을 지정하고 빌드합니다. 생성된 저장소에는 선택 모델, 프롬프트 수정과 추출 구성이 반영됩니다.
배치 처리 조건은 Python 변환 배포, 페이지 단위 실행은 Python 함수 배포를 확인합니다.