데이터 통합 애플리케이션

데이터 연결, 파이프라인 작성, 결과 확인과 운영 감시는 서로 다른 작업입니다. Foundry에서는 작업에 맞는 애플리케이션을 사용하면서 데이터 계보와 권한을 공유합니다.

Pipeline Builder

Pipeline Builder는 데이터 통합을 위한 기본 애플리케이션입니다. 데이터 소스부터 최종 출력까지 하나의 파이프라인으로 구성하고, 변환 적용, 스키마 편집과 출력 빌드를 수행합니다.

화면에서 변환을 추가할 때 스키마 검사를 함께 적용하므로, 일부 오류를 전체 빌드 전에 확인할 수 있습니다. 버전 관리와 확장 기능을 사용해 여러 사람이 변경을 검토하고 협업할 수 있습니다. 코드 중심 도구에 익숙하지 않은 사용자도 클릭과 폼 입력으로 파이프라인을 정의합니다.

Code Repositories

Code Repositories는 git 서버를 기반으로 한 통합 개발 환경입니다. Python, Java와 SQL로 파이프라인 로직을 작성하는 데 주로 사용하며, 변경 검토와 거버넌스, 테스트와 변환 미리보기를 지원합니다. 기계 학습 모델이나 온톨로지 함수도 작성할 수 있습니다.

데이터 과학이나 코드 기반 탐색 분석이 목적이면 Code Workbook이 더 적합할 수 있습니다. Code Workspaces도 별도의 개발 환경을 제공하므로, 파이프라인의 배포 로직을 관리할지 탐색 작업을 수행할지에 따라 선택합니다.

Data Lineage

Data Lineage는 Foundry 리소스 사이의 연결과 데이터 계보를 표시합니다. 개별 프로젝트나 업무 활용 사례의 경계를 넘어 소스, 데이터셋, 분석, 온톨로지 객체 유형과 링크 유형, 사용자 애플리케이션의 관계를 탐색합니다.

연결 관계만 표시하는 것은 아닙니다. 데이터 미리보기, 결과를 도출한 로직 확인, 예약된 파이프라인 관리에도 사용할 수 있습니다.

Data Connection

Data Connection은 외부 데이터를 Foundry로 동기화하고, 소스 인증 정보 등 연결에 필요한 리소스를 관리합니다. 연결을 처음 구성한 뒤에는 원천 데이터를 탐색하고 새 동기화를 추가할 수 있습니다. 소스 시스템과 업무 활용 사례의 거버넌스 통제를 유지하면서 데이터 수집 범위를 확장합니다.

Dataset Preview

데이터셋을 다른 애플리케이션에서 열면 Dataset Preview에서 내용과 관련 정보를 확인할 수 있습니다. 데이터셋 소유자, 시간에 따른 변경, 적용된 상태 검사도 함께 확인합니다.

Data Health

Data Health는 파이프라인 전반의 데이터 품질을 관리합니다. 담당자는 상태 검사를 통해 파이프라인의 신뢰성과 성능을 확인하고, 모니터링 뷰의 알림을 구독하여 문제에 대응합니다.

Builds

Builds는 이전에 Job Tracker라고 불렸던 실행 관리 애플리케이션입니다. Foundry에서 수행되는 빌드의 진행 상황, 스케줄, 과거 성공과 실패 이력을 확인할 수 있습니다.

Spark 실행에 대해서는 세부 실행 정보도 제공합니다. 빌드 전체의 성공 여부를 확인한 뒤, 실행 엔진 수준의 정보로 내려가 오류를 조사하거나 성능을 최적화할 수 있습니다.