Keyboard shortcuts

Press ← or → to navigate between chapters

Press ? to show this help

Press Esc to hide this help

HyperAuto V2의 처리 구조

HyperAuto V2는 Data Connection 동기화, Pipeline Builder 변환과 온톨로지를 연결하여 원천 테이블에서 사용할 수 있는 출력 데이터셋을 생성합니다. 원천을 실시간 조회한 메타데이터로 동기화 구성, 변환 로직과 객체 관계를 정합니다.

HyperAuto 파이프라인 하나는 한 인스턴스가 관리하는 동기화부터 출력과 객체까지의 리소스 집합입니다. 사용자가 원천 테이블 목록을 입력하면 필요한 수집을 구성하고 출력을 만듭니다. 한 소스에 여러 HyperAuto 파이프라인을 만들 수도 있습니다.

원천 동기화

원천에서 볼 수 있는 테이블을 입력으로 선택합니다. 선택한 테이블에 대응하는 동기화가 없으면 새 동기화를 생성할 수 있습니다. 이 생성 기능은 Beta이며 플랫폼 인스턴스에서 활성화되어 있어야 합니다.

기존 동기화가 하나 이상이면 기본적으로 최근 동기화를 선택합니다. Input Configuration에서 Configure input table 버튼에 포인터를 올려 다른 기존 동기화를 고르거나 새 동기화를 만들 수 있습니다.

새 동기화는 초기 수집을 먼저 끝내야 다음 파이프라인 생성 단계로 진행합니다. 따라서 입력 데이터 규모에 따라 생성 시간이 길어질 수 있습니다. 직접 연결이 없는 폴더 기반 SAP는 이미 있는 정적 데이터셋을 사용하므로 이 동기화 생성 단계를 거치지 않습니다.

Pipeline Builder 변환

HyperAuto는 소스 종류와 사용자의 설정을 바탕으로 Pipeline Builder 파이프라인을 생성합니다. 개요에서 View pipeline 또는 View builder pipeline을 열어 로직을 볼 수 있습니다. 로직 변경은 생성된 파이프라인을 직접 수정하기보다 HyperAuto의 proposal로 구성합니다.

처리역할
Cleaning자료형, null과 빈 문자열 및 불필요한 문자열 공백 같은 데이터 정리 문제를 처리합니다.
Renaming원천의 설명 메타데이터를 사용하여 테이블과 열 이름을 읽기 쉽게 만듭니다.
Joining별도 설명 및 조회 테이블을 객체 테이블과 결합하여 분석에 사용할 비정규화 출력을 만듭니다.
Filtering불필요한 행이나 CDC 입력의 중복을 제거하는 등의 필터를 적용합니다.

배치와 실시간 스트리밍을 모두 지원하며 구체적인 처리 차이는 구성 옵션을 따릅니다.

온톨로지

원천 데이터 모델과 생성한 출력을 사용하여 객체 유형과 의미 있는 객체 간 링크를 생성하는 기능도 있습니다. 온톨로지 생성은 선택 기능이며 사용하려면 Palantir 담당자와 해당 기능의 이용을 확인합니다.

생성 리소스 관리

HyperAuto는 자신이 만든 리소스를 관리하여 성능 개선과 버그 수정 및 구성 변경을 일관되게 반영합니다. 입력 추가나 변환 설정 변경도 이 관리 경로로 적용합니다. HyperAuto가 관리하는 동기화와 Builder 파이프라인을 별도로 편집하면 변경이 충돌할 수 있으므로 앱의 구성 및 proposal을 사용합니다.

직접 Builder 파이프라인을 관리해야 하는 경우 HyperAuto 파이프라인 리소스를 삭제하면 해당 Builder 파이프라인에 대한 소유 제약이 해제되어 일반 파이프라인처럼 편집할 수 있습니다. 이 선택은 자동 관리 책임을 사용자에게 넘기는 변경으로 다룹니다.