조직의 첫 데이터 연결 준비
조직의 데이터를 Foundry에 처음 연결할 때는 네트워크 경로부터 준비합니다. 조직의 네트워크 구성과 방화벽 규칙을 아는 네트워크 엔지니어 또는 IT 담당자가 초기 설정을 맡는 것이 적합합니다.
설정 순서는 네트워크 연결, 소스, 연결 기능입니다. 네트워크에 도달할 수 있는 상태를 만든 뒤 외부 시스템의 위치와 인증 정보를 등록하고, 그 연결로 어떤 작업을 수행할지 정합니다.
1. 네트워크 경로 구성
Foundry에서 직접 접근할 수 있는 시스템
Foundry와 같은 네트워크에서 접근할 수 있는 시스템에는 직접 연결 외부 통신 정책을 구성합니다. 클라우드에 호스팅된 Foundry라면 일반적으로 인터넷을 통해 접근할 수 있는 시스템이 여기에 해당합니다.
외부 시스템이 Foundry에서 들어오는 연결을 허용해야 합니다. Foundry 쪽의 외부 통신 정책과 대상 시스템 쪽의 인바운드 허용 조건을 함께 확인합니다.
별도 네트워크에 있는 시스템
Foundry와 다른 네트워크에 있는 시스템에는 Data Connection 에이전트가 필요합니다. 클라우드 Foundry에서 사내 시스템에 접근하는 경우가 대표적입니다.
에이전트는 조직 네트워크 안에서 실행되는 중간 연결 프로그램입니다. 다음 통신이 가능해야 합니다.
- 에이전트에서 원천 시스템으로 연결할 수 있어야 합니다.
- 원천 시스템이 에이전트에서 들어오는 연결을 허용해야 합니다.
- 에이전트에서 Foundry로 외부 방향 연결을 시작할 수 있어야 합니다.
에이전트를 준비한 뒤 에이전트 프록시 외부 통신 정책으로 경로를 정의하고, Foundry 워커 소스에서 해당 정책을 사용합니다.
기존 에이전트 워커 소스는 에이전트 호스트에서 연산을 실행할 수도 있습니다. 새 소스에는 Foundry 워커가 권장됩니다. 하나의 에이전트를 기존 에이전트 워커 소스와 에이전트 프록시 연결에서 함께 사용할 수 있습니다.
2. 소스 구성
소스(Source)는 외부 시스템으로 연결할 위치와 인증 정보 등을 담는 연결 리소스입니다. Postgres 데이터베이스, S3 버킷, Linux 서버의 파일시스템, SAP 인스턴스나 인터넷의 REST API 등을 소스로 구성할 수 있습니다.
연결 기능을 실행하기 전에 대상 시스템에 맞는 소스를 먼저 준비합니다. 소스와 커넥터의 차이는 핵심 개념에서 설명합니다.
3. 연결 기능 구성
소스가 준비되면 해당 연결로 수행할 기능을 구성합니다. 배치 동기화, 스트리밍 동기화, 웹훅과 내보내기 등이 있습니다.
가령 여러 테이블이 있는 가상의 PostgreSQL 데이터베이스에서 테이블 하나만 Foundry에 수집한다고 가정하겠습니다. 소스로 데이터베이스 연결을 정의하고, 배치 동기화에서 읽을 테이블과 출력 대상을 지정합니다. 동기화가 성공하면 Foundry 데이터셋이 생성되어 파이프라인, 모델 개발과 분석 도구에서 사용할 수 있습니다.
담당 역할과 설정 빈도
| 리소스 | 일반적인 설정 빈도 | 담당 역할 | 필요한 지식 |
|---|---|---|---|
| 에이전트 | 드묾 | IT 담당자, 네트워크 엔지니어 | 네트워크와 방화벽 정책, Linux 가상 머신, SSH |
| 소스 | 간헐적 | IT 담당자, 네트워크 엔지니어, 데이터 엔지니어 | 네트워크 접근 문제 조사, 인증 정보 관리 |
| 동기화 | 빈번함 | 데이터 엔지니어, 데이터 과학자 | SQL 쿼리, 파일 관리 |
대부분의 Foundry 사용자가 직접 새 에이전트를 설치할 필요는 없습니다. 한 번 준비한 에이전트를 여러 소스와 동기화에 재사용할 수 있습니다. 네트워크 분리로 기존 에이전트가 접근할 수 없는 시스템을 추가하거나, 처리 규모 또는 가용성을 높여야 할 때 새 에이전트가 필요할 수 있습니다.
에이전트의 고가용성
중복된 호스트와 에이전트를 구성하면 한 호스트에 문제가 생기거나 유지보수를 할 때 연결을 유지하기 쉽습니다. 소스에 여러 에이전트가 연결되어 있으면 Foundry는 정상 상태인 에이전트에 수집 작업을 배정할 수 있습니다.
다음 구성이 권장됩니다.
- 비슷한 하드웨어에 에이전트를 두 개씩 설치합니다.
- 한 쌍임을 알아볼 수 있도록
agent-1,agent-2처럼 이름을 붙입니다. - 같은 소스의 연결을 두 에이전트가 모두 담당하도록 구성합니다.
- 두 에이전트의 업그레이드 시간대가 겹치지 않도록 설정합니다.
- 운영자가 확인할 수 있는 업무일에 업그레이드하고, 다음 에이전트를 올리기 전에 상태를 관찰할 시간을 충분히 둡니다.
업그레이드 시각을 나누면 업데이트 문제가 생겼을 때 한 에이전트에서 발견하고 다른 에이전트로 확산되기 전에 대응할 수 있습니다.
에이전트 워커 방식에서는 생성한 소스에 에이전트를 추가할 때 인증 정보를 다시 입력해야 하므로 처음부터 고가용성을 구성하는 것이 권장됩니다. Foundry 워커는 인증 정보를 중앙에서 관리하므로 에이전트 재할당이나 호스트 재구성에 인증 정보가 종속되지 않습니다. 운영 차이는 워커 비교와 전환에서 설명합니다.