Pipeline Builder에서 PDF 미디어 집합 처리하기

이 예제는 PDF 미디어 집합에서 텍스트를 추출하고 온톨로지 객체로 내보내는 Standard 배치 파이프라인입니다. 예시 화면은 Palantir가 공개한 문서를 사용하며, 실제 작업에는 접근 권한이 있는 PDF 미디어 집합을 준비합니다.

파이프라인 생성

1. 왼쪽 탐색에서 Pipeline Builder를 엽니다. 없으면 View all의 Build & Monitor Pipelines에서 찾습니다.
2. New pipeline에서 Batch pipeline을 선택합니다.
3. Select batch compute는 이 예제에서 사용하는 Standard로 지정합니다.
4. 프로젝트 안의 저장 위치를 선택하고 Create pipeline을 누릅니다. 개인 폴더에는 저장할 수 없습니다.

Faster도 일부 PDF 추출 표현식을 지원하지만 실제 입출력과 연산 조합의 호환성은 별도로 확인해야 합니다. 구분 기준은 실행 방식 비교에서 설명합니다. 스트리밍 생성 기능의 제공 여부도 환경에 따라 다르지만 이 예제는 배치로 진행합니다.

미디어 집합 추가

처음 화면의 Add Foundry data 또는 위쪽 Add data를 선택합니다. 원하는 미디어 집합들을 고른 뒤 Add data로 가져옵니다. 로컬 파일을 끌어다 놓아 미디어 집합으로 사용하는 방법도 있습니다.

추가한 노드에는 미디어 항목의 썸네일을 볼 수 있습니다.

PDF 텍스트 추출

미디어를 직접 변환하거나 미디어 참조를 통해 정보를 추출할 수 있습니다. 예제의 Media set of Annual Letters 노드를 선택하고 Transform을 연 뒤 Extract text from PDF를 검색합니다.

선택한 방식에 필요한 미디어 참조, 페이지 범위와 나머지 인자를 설정합니다. OCR 화면에서는 Text 또는 hOCR 출력 형식과 인식 언어를 지정할 수 있습니다. 예시의 OCR 텍스트 출력은 페이지별 문자열 배열이므로 하나의 문자열 열과 구분하여 후속 처리를 선택합니다.

Start page를 생략하면 첫 페이지, End page를 생략하면 마지막 페이지를 사용합니다. 끝 페이지는 포함되며 화면의 End page는 음수 인덱스도 지원합니다. 오류 처리 방식도 함께 선택합니다. 원시 텍스트 추출과 OCR 추출은 페이지별 문자열 배열을 반환합니다. Apply로 추가한 뒤 출력 값을 확인하고 결과 자료형에 맞는 후속 처리를 적용합니다.

Close로 그래프에 돌아옵니다. 추출한 텍스트는 필요에 따라 온톨로지의 의미 검색 구성에도 사용할 수 있습니다.

객체 유형 출력

1. 변환을 마친 Transforms 노드에서 Add output을 선택합니다.
2. New object type을 선택합니다.
3. 객체 유형 이름을 정하고 Please select an ontology에서 사용할 온톨로지를 선택합니다.
4. Edit에서 열 매핑을 조정합니다. 실제 객체를 고유하게 식별할 수 있는 적절한 열을 기본 키로 선택합니다.

배포와 이력

Save로 저장한 뒤 Deploy > Deploy pipeline을 선택합니다. 배포 패널의 Initializing deployment 상태에서 진행을 확인하고 View deployment history로 History를 엽니다.

배포가 끝나고 객체가 초기화되면 Create Workshop module로 결과를 사용하는 Workshop 모듈을 만들 수 있습니다.

추출 전에 미디어 변환

텍스트 추출이나 LLM 처리 전에 미디어를 변환할 수 있습니다. 예를 들어 가로 방향의 이미지를 시계 방향으로 90도 회전한 뒤 OCR을 적용할 수 있습니다.

변환된 미디어 참조는 일반 데이터셋 출력의 유효한 열 값으로 쓸 수 없으므로, 결과를 데이터셋으로 저장할 때는 출력 대화상자에서 해당 참조 열을 스키마에서 제거합니다. 원본 미디어를 가리키는 참조와 변환 과정의 미디어 참조를 혼동하지 않도록 합니다.