HyperAuto V2의 처리 구조
HyperAuto V2는 Data Connection 동기화, Pipeline Builder 변환과 온톨로지를 연결하여 원천 테이블에서 사용할 수 있는 출력 데이터셋을 생성합니다. 원천을 실시간 조회한 메타데이터로 동기화 구성, 변환 로직과 객체 관계를 정합니다.
HyperAuto 파이프라인 하나는 한 인스턴스가 관리하는 동기화부터 출력과 객체까지의 리소스 집합입니다. 사용자가 원천 테이블 목록을 입력하면 필요한 수집을 구성하고 출력을 만듭니다. 한 소스에 여러 HyperAuto 파이프라인을 만들 수도 있습니다.
원천 동기화
원천에서 볼 수 있는 테이블을 입력으로 선택합니다. 선택한 테이블에 대응하는 동기화가 없으면 새 동기화를 생성할 수 있습니다. 이 생성 기능은 Beta이며 플랫폼 인스턴스에서 활성화되어 있어야 합니다.
기존 동기화가 하나 이상이면 기본적으로 최근 동기화를 선택합니다. Input Configuration에서 Configure input table 버튼에 포인터를 올려 다른 기존 동기화를 고르거나 새 동기화를 만들 수 있습니다.
새 동기화는 초기 수집을 먼저 끝내야 다음 파이프라인 생성 단계로 진행합니다. 따라서 입력 데이터 규모에 따라 생성 시간이 길어질 수 있습니다. 직접 연결이 없는 폴더 기반 SAP는 이미 있는 정적 데이터셋을 사용하므로 이 동기화 생성 단계를 거치지 않습니다.
Pipeline Builder 변환
HyperAuto는 소스 종류와 사용자의 설정을 바탕으로 Pipeline Builder 파이프라인을 생성합니다. 개요에서 View pipeline 또는 View builder pipeline을 열어 로직을 볼 수 있습니다. 로직 변경은 생성된 파이프라인을 직접 수정하기보다 HyperAuto의 proposal로 구성합니다.
| 처리 | 역할 |
|---|---|
| Cleaning | 자료형, null과 빈 문자열 및 불필요한 문자열 공백 같은 데이터 정리 문제를 처리합니다. |
| Renaming | 원천의 설명 메타데이터를 사용하여 테이블과 열 이름을 읽기 쉽게 만듭니다. |
| Joining | 별도 설명 및 조회 테이블을 객체 테이블과 결합하여 분석에 사용할 비정규화 출력을 만듭니다. |
| Filtering | 불필요한 행이나 CDC 입력의 중복을 제거하는 등의 필터를 적용합니다. |
배치와 실시간 스트리밍을 모두 지원하며 구체적인 처리 차이는 구성 옵션을 따릅니다.
온톨로지
원천 데이터 모델과 생성한 출력을 사용하여 객체 유형과 의미 있는 객체 간 링크를 생성하는 기능도 있습니다. 온톨로지 생성은 선택 기능이며 사용하려면 Palantir 담당자와 해당 기능의 이용을 확인합니다.
생성 리소스 관리
HyperAuto는 자신이 만든 리소스를 관리하여 성능 개선과 버그 수정 및 구성 변경을 일관되게 반영합니다. 입력 추가나 변환 설정 변경도 이 관리 경로로 적용합니다. HyperAuto가 관리하는 동기화와 Builder 파이프라인을 별도로 편집하면 변경이 충돌할 수 있으므로 앱의 구성 및 proposal을 사용합니다.
직접 Builder 파이프라인을 관리해야 하는 경우 HyperAuto 파이프라인 리소스를 삭제하면 해당 Builder 파이프라인에 대한 소유 제약이 해제되어 일반 파이프라인처럼 편집할 수 있습니다. 이 선택은 자동 관리 책임을 사용자에게 넘기는 변경으로 다룹니다.