HyperAuto V2 구성 옵션

HyperAuto V2 설정은 이름과 위치, 소스 구성, 입력 구성과 파이프라인 구성 순서로 진행합니다. 생성할 HyperAuto 리소스와 출력 데이터셋은 지정한 폴더에 배치합니다. 파이프라인은 입력 데이터셋과 같은 프로젝트에 있어야 합니다.

소스 시스템과 모드

하위 시스템은 독자적인 테이블과 메타데이터 집합을 가진 소스 구성입니다. SAP의 context가 이에 해당합니다. 하위 시스템을 바꾸면 지원 처리 모드, 선택 가능한 테이블과 기존 동기화 목록도 달라집니다.

SLT와 Remote에서는 연결할 하위 시스템의 context를 선택합니다.

Batch와 Streaming

Batch가 기본 모드입니다. 일반 배치 실행은 모든 입력을 다시 처리하고 기존 출력을 덮어씁니다. 집계와 중복 제거 등 폭넓은 기능을 사용할 수 있어 대부분의 사용 사례에 권장합니다. 실험적 Incremental 옵션을 사용할 때의 차이는 아래에서 설명합니다.

Streaming은 원천을 계속 폴링하여 아직 처리하지 않은 데이터를 수집하고 도착하면 바로 처리합니다. 온톨로지에 반영되는 지연을 줄일 수 있으며 중복을 해소한 객체를 사용하는 실시간 앱에 적합합니다. 항상 켜진 연산이 필요하므로 원천 시스템과 Foundry의 부하가 증가할 수 있습니다.

입력 선택

SAP 입력은 다음 분류로 탐색할 수 있습니다.

• Modules는 테이블을 업무 모듈별 계층으로 묶습니다. 관련성이 있으면 한 테이블이 여러 모듈에 나올 수 있지만 같은 테이블을 중복 선택하지는 않습니다.
• Workflows는 공급망 관리 같은 사용 사례별 분류입니다. 모듈 보기와 전환해도 이미 선택한 항목을 잃거나 중복으로 추가하지 않습니다.

Input Configuration에서 필요한 동기화를 만들 수도 있습니다. 이 기능은 Beta이며 플랫폼 인스턴스에 따라 제공되지 않을 수 있습니다. 활성화가 필요하면 Palantir 지원팀에 요청합니다. AIP 기능을 사용할 수 있는 환경에는 Suggest 입력 제안도 있습니다.

언어와 기본 변환

여러 언어의 데이터를 담은 테이블은 선택한 언어로 먼저 필터링한 뒤 조인 등의 변환을 적용합니다. 언어별로 같은 업무 행이 여러 번 나타나는 것을 줄이는 단계입니다.

자동 조인, 읽기 쉬운 이름, 키 생성, 중복 제거와 데이터 정리 옵션은 기본 활성화되며 기능과 성능의 균형에 맞게 끌 수 있습니다.

Automatic joins

원천 메타데이터로 테이블을 object와 enrichment로 분류합니다. Enrichment는 설명이나 조회 정보처럼 객체 테이블을 보강하는 용도입니다. 관계 메타데이터를 사용하여 enrichment를 object에 왼쪽 조인하고 객체별 비정규화 출력을 만듭니다.

SAP의 TEXT 테이블은 enrichment로 분류합니다. 예를 들어 자재 설명 MAKT를 일반 자재 MARA에 조인할 수 있습니다.

스트리밍에서도 enrichment는 스트림이 아닌 배치 입력으로 읽어 주 스트림에 lookup left join을 적용합니다. 두 실시간 스트림을 이 옵션으로 서로 조인하는 방식은 아닙니다.

스트리밍 입력 구성에서 기존 enrichment 동기화를 선택하려면 스키마가 Foundry 스트리밍과 Avro 형식에 맞아야 합니다. SAP 동기화의 cleanFieldNamesForAvro=true로 필드 이름을 맞출 수 있으며 HyperAuto가 생성한 동기화는 이 옵션을 기본 활성화합니다.

Human-readable column names

원천의 열 설명을 원래 기술 열 이름과 결합하여 다음 형식으로 만듭니다.

Human readable_|_original

설명과 원래 이름을 모두 유지하므로 원천 스키마에 익숙하지 않은 사용자도 열을 찾을 수 있습니다.

Human-readable output dataset names

원천 테이블 메타데이터로 새 출력 데이터셋의 설명적인 이름을 만듭니다. 이미 존재하는 파이프라인에서 이 옵션을 켜도 기존 출력 데이터셋의 이름은 바꾸지 않습니다.

Generate primary keys

원천 메타데이터가 알려 주는 복합 기본 키 열을 _|_로 이어 붙여 primary_key 열을 만듭니다. 온톨로지 객체의 기반 데이터셋에는 단일 열 기본 키가 필요합니다.

Generate foreign keys

Object 간 관계마다 관련 열을 연결한 외래 키 열을 만듭니다. 예를 들어 열 이름이 다음과 같다면 column1과 column2의 값을 _|_로 연결하고 tableA의 primary_key와 조인할 수 있는 관계입니다.

column1_column2_|_foreign_key_tableA

이 키를 데이터 조인이나 온톨로지 링크 구성에 사용할 수 있습니다. Automatic joins를 켜면 object와 enrichment 관계에는 별도 외래 키를 만들지 않습니다.

Deduplicate rows

기본 키별로 최신 행을 선택하여 중복을 제거합니다. 변경마다 새 행을 추가하는 CDC 입력 등에 사용할 수 있습니다.

스트리밍 모드에서는 주 출력과 changelog 출력의 두 스트리밍 출력을 만듭니다. 배치 또는 증분 파이프라인이 읽을 때 주 출력은 중복을 해소한 데이터셋으로, changelog는 중복을 제거하지 않은 데이터셋으로 해석됩니다. 두 출력 모두 다른 스트림에서 일반 스트림으로 소비할 수도 있습니다. 배치로 읽을 때의 중복 해소 결과를 모든 스트림 메시지의 전달 형태와 동일하게 해석하지 않습니다.

기본 키 구성 열이 다음 자료형 중 하나가 아니면 중복 제거를 위해 String으로 변환합니다.

String, Timestamp, Boolean, Binary, Integer,
Byte, Short, Float, Long, Double

Data cleaning

빈 문자열 ""을 null로 바꾸고 DECIMAL 값을 DOUBLE로 변환합니다. DOUBLE 변환은 온톨로지 속성 등 플랫폼 기능에서 사용할 수 있는 자료형으로 맞추는 동작입니다. 정밀한 소수 표현이 필요한 데이터에서는 해당 자료형 변환을 허용할지 검토합니다.

실험적 Incremental 처리

Incremental 처리는 Experimental이며 플랫폼 인스턴스에서 사용할 수 없을 수도 있습니다. 직접 SAP 연결을 사용하는 배치 파이프라인에서만 제공됩니다.

활성화하면 매번 모든 입력을 다시 처리하는 대신 마지막 빌드 이후 입력 데이터셋에 추가된 데이터만 처리합니다. 입력이 크고 자주 추가되는 경우 빌드 시간과 연산 사용량을 줄일 수 있습니다. 기능 제공 여부와 입력의 배치 연산 모드를 확인하여 사용합니다.

Batch Compute Settings

배치 연산 설정은 Beta입니다. Pipeline Configuration의 Batch Compute Settings에서 실행 엔진을 선택합니다.

새 파이프라인을 만들 때 선택하거나 기존 파이프라인의 구성 편집으로 엔진을 바꿀 수 있습니다. 기존 파이프라인의 변경은 proposal 검토와 배포 절차를 따릅니다.