HyperAuto V1 운영 질문

V1은 Sunset 단계에서 전체 지원을 유지합니다. 다음 절차는 기존 생성 저장소를 운영하는 경우에 사용하며 SAP의 새 파이프라인에는 V2를 권장합니다.

생성 코드를 미리 볼 수 있는가

SDDI 저장소에서 /transforms-bellhop/src/software_defined_data_integrations/transforms/pipeline_builder.py를 열고 Preview 버튼에서 조사할 변환을 선택합니다. 생성 저장소에서도 코드 디버그와 미리보기를 사용할 수 있습니다.

새 테이블을 스케줄에 자동 포함하려면

생성 저장소의 BUILD 데이터셋은 모든 최종 출력에 연결됩니다. 이 데이터셋을 대상으로 상위 데이터셋을 포함하는 Full Build 스케줄을 만들면 새로 수집한 테이블도 빌드 범위에 포함됩니다. 스마트 스케줄러는 원시 데이터가 갱신된 파이프라인 부분만 실행합니다.

MODULE_UNREACHABLE

테이블이나 derived_element의 MODULE_UNREACHABLE은 Spark driver 메모리가 부족하다는 신호일 수 있습니다. SourceConfig.yaml에서 해당 테이블에 필요한 Spark profile을 설정할 수 있습니다. 먼저 그 profile을 리포지토리 구성에 가져와야 이름으로 참조할 수 있습니다.

objects 메타데이터에서 새 테이블을 찾지 못할 때

다음 오류는 설정한 테이블이 objects 메타데이터에서 발견되지 않았다는 뜻입니다. TABLE_NAME은 오류에 표시된 실제 테이블 이름입니다.

AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table

새 테이블을 수집하고 구성에 추가한 뒤 objects, links, fields, diffs 메타데이터 데이터셋을 다시 빌드했는지 확인합니다.

새 테이블 추가 시 semantic version을 올리는가

새 테이블을 Bellhop 설정에 추가하는 것만으로는 semantic version을 올릴 필요가 없습니다. 다만 위의 네 메타데이터 데이터셋은 다시 빌드해야 합니다.

일부 생성 단계를 끌 수 있는가

PipelineConfig의 설정으로 외래 키 생성, enrichment와 renaming 단계를 끌 수 있습니다. 이 변경이 반영되려면 deploymentSemanticVersion을 올려야 합니다. 생성 단계의 비활성화는 데이터 스키마를 바꾸고 하위 사용처를 실패시킬 수 있으므로 설정 참조의 조건을 확인합니다.