문서 검색에 사용할 모델 선택

사용 가능한 모델은 플랫폼 인스턴스(Enrollment)와 시점에 따라 다릅니다. Model Catalog와 지원 모델에서 실제 사용 가능 여부를 확인합니다.

그림과 표를 읽는 모델

텍스트 전용 대규모 언어 모델(LLM)은 이미지를 읽지 못합니다. 도표, 차트나 페이지 이미지의 내용이 필요하면 시각 기능이 있는 모델을 선택합니다. Model Catalog의 Type 필터에서 Vision model을 선택하면 해당 모델을 찾을 수 있습니다.

PDF 텍스트 추출을 구성할 때에는 AIP Document Intelligence에서 광학 문자 인식(OCR)과 시각 언어 모델(VLM)의 결과를 비교합니다. Pipeline Builder에서는 Use LLM 노드에 미디어 참조(Media reference) 열을 전달하고 Vision 표시가 있는 모델을 선택합니다.

텍스트로 먼저 검색한 뒤 일치한 페이지 이미지와 질문을 시각 모델에 전달하는 구성도 가능합니다. 이를 위해 각 청크(Chunk) 객체에 페이지 번호와 그 페이지 이미지의 미디어 참조를 저장합니다. Python 변환의 convert_document_to_images로 PDF 페이지를 이미지로 변환할 수 있습니다.

텍스트 임베딩 모델

Palantir 제공 임베딩 모델(Embedding model)을 우선 검토합니다. Model Catalog의 Type에서 Embedding model을 선택합니다. 제공 모델을 사용할 수 없으면 자신의 모델을 등록한 뒤 Pipeline Builder의 Text to embeddings에서 선택할 수 있습니다.

문서 청크와 검색 질의는 같은 모델로 임베딩합니다. 모델을 바꾸면 모든 청크를 다시 임베딩해야 같은 벡터 공간에서 비교할 수 있습니다.

각 모델의 Model Catalog 상세 페이지에서 입력 토큰 한도를 확인합니다. Chunk string의 크기는 문자 수입니다. 영어에서는 토큰 하나가 평균 약 네 문자이지만 다른 언어에서는 토큰당 문자가 더 적은 경우가 많으므로 문자 한도를 그대로 토큰 한도로 사용하지 않습니다.

짧은 질문과 긴 답변 문단은 표현 형식이 달라 임베딩이 충분히 가깝지 않을 수 있습니다. HyDE는 질문에 답할 만한 가상 문단을 먼저 만들어 검색하는 방법입니다.

전체 자료를 처리하기 전에 문서와 질문의 일부를 사용하여 후보 모델을 비교합니다. 사용자가 검색하는 언어마다 평가하고 AIP Evals로 의미 기반 검색 함수를 평가할 수 있습니다.

이미지 자체를 임베딩하려면 시각 기능을 지원하는 임베딩 모델과 Pipeline Builder의 Image to embeddings 표현식을 사용합니다. 이미지를 읽는 생성 모델과 벡터를 반환하는 임베딩 모델의 기능을 구분하여 선택합니다.