데이터 연결과 통합

Foundry의 데이터 통합은 외부 데이터 수집부터 변환, 품질 검사, 운영 배포까지 이어집니다. 데이터를 저장하고 연산하는 기능에 더해, 어떤 입력과 코드가 결과를 만들었는지 추적하고, 팀별 접근 권한과 변경 절차를 관리합니다. ETL은 추출 후 변환하고 적재하는 방식이고, ELT는 먼저 적재한 뒤 변환하는 방식입니다. Foundry에서는 이러한 처리 순서와 함께 파이프라인을 지속적으로 운영하는 데 필요한 관리 기능을 구성합니다.

외부 데이터 연결

데이터 연결 프레임워크는 정형, 반정형, 비정형 원천을 지원합니다. 데이터 전달 방식에는 배치, 마이크로배치와 스트리밍이 있습니다. 연결 기능은 변환 및 데이터 관리 기능과 통합되어 데이터 버전의 계보, 세분화된 보안, 동기화 구성의 브랜치를 함께 관리합니다.

데이터 수집을 여러 팀이 나누어 운영할 때에는 각 팀이 조회하거나 수정할 수 있는 동기화를 제한할 수 있습니다. 새 연결 구성을 별도 브랜치에서 시험하면 운영 중인 하위 변환에 영향을 주기 전에 동작을 확인할 수 있습니다. 연결 수단별 차이는 데이터 연결 방식에서 설명합니다.

데이터 변환과 빌드

변환은 입력 데이터에 처리 로직을 적용해 출력 데이터셋을 만듭니다. 빌드(Build)는 필요한 처리 작업과 실행 순서를 구성하는 단위입니다. Foundry의 빌드 프레임워크는 특정 연산 실행 환경에 한정되지 않으며, 여러 종류의 연산 환경과 외부 실행 환경을 조합할 수 있습니다. 보안과 데이터 계보는 이러한 실행 과정에도 적용됩니다.

변환 작성 도구와 함께 변경 관리, 데이터 품질 검사, 실행 예약, 메타데이터 조회 기능을 사용합니다. 데이터 파이프라인은 이러한 처리와 운영 책임을 연결하는 개념입니다.

운영 파이프라인 관리

Pipeline Builder에서는 소스부터 최종 출력까지 파이프라인을 구성하고 버전과 변경을 관리합니다. 운영 릴리스 절차에는 데이터 품질 검사를 포함할 수 있습니다. 검사 조건을 충족한 데이터만 운영에 반영하도록 절차를 구성하고, 조건을 벗어난 결과가 있으면 진단 정보를 확인합니다.

진단 정보는 Foundry의 분석 및 모델링 도구에서 사용할 수 있습니다. REST API 등으로 출력에 접근하는 외부 도구에서도 관련 진단 정보를 활용할 수 있습니다. 도구 선택은 데이터 통합 애플리케이션을 참고합니다.

주제별 안내