시계열 동기화 만들기와 관리

시계열 동기화는 데이터셋 또는 스트림의 series ID별 시각 및 값 쌍을 색인하여 TSP에 제공합니다. 객체의 TSP 값이 가리키는 series ID를 찾고 해당 측정값을 반환합니다. 여러 동기화를 TSP 하나에 연결해도 시계열 하나의 값은 한 동기화 안에 있어야 합니다.

동기화를 만들면 기반 데이터셋에 조회 최적화를 위한 프로젝션도 구성합니다.

위도와 경도를 각각 시계열로 기록하여 이동 경로를 추적할 수도 있습니다. Gaia의 지리 시계열과 Foundry Map의 사용 경로는 지리공간 FAQ에서 구분합니다.

입력 필드

Long 시각에는 SECONDS, MILLISECONDS, MICROSECONDS, NANOSECONDS 중 단위를 지정합니다. String 값의 범주 수 한도는 데이터 계약을 따릅니다.

입력 규모에 따라 프로젝션 빌드에 필요한 자원도 늘어납니다. 10TB를 넘는 데이터셋은 series ID 기준으로 나누어 더 작은 데이터셋별 동기화를 구성하거나 View 최적화를 검토합니다.

Time Series Catalog에서 생성

1. Time Series Catalog의 New time series sync를 선택합니다.
2. 저장 프로젝트를 고릅니다. 입력 데이터셋이 같은 프로젝트에 있거나 참조로 들어와 있어야 합니다.
3. Set up sync를 선택합니다.

입력을 고르고 Series ID, Value와 Timestamp 열을 매핑합니다. Timestamp가 Long이면 단위를 지정하고 미리보기에서 시각과 값이 맞는지 확인합니다.

필요한 고급 설정을 확인하고 마지막 단계에서 Save and build를 선택합니다. 대부분의 구성에서는 기본 설정이 권장됩니다.

Pipeline Builder에서 생성

Pipeline Builder에 입력을 추가하고 필요한 세 필드와 선택 필드를 준비합니다. 변환 결과에 시계열 동기화 출력을 붙이고 열을 매핑합니다.

파이프라인을 배포하면 기반 데이터셋과 동기화를 만들고 빌드합니다.

동기화 리소스 관리

Preview에서 동기화에 포함된 series ID를 탐색하고, 이 리소스를 기반 데이터 원천으로 사용하는 TSP 등의 메타데이터를 볼 수 있습니다. 스트리밍 동기화의 Monitors 탭은 기본적으로 체크포인트 데이터셋 지표를 표시합니다.

아직 어떤 TSP에도 연결되지 않았다면 Ontology의 Set up now에서 기존 객체 유형 선택 또는 새 유형 생성 도우미를 시작합니다.

Update sync에서 열 매핑과 고급 옵션을 바꿀 수 있습니다.

고급 설정

생성 도우미의 세 번째 단계 또는 생성 후 Catalog의 Edit에서 설정합니다.

입력 변경 시 빌드

Schedule sync runs on input dataset update는 기본으로 활성화됩니다. 입력 갱신에 맞춰 동기화를 빌드하여 최신 상태를 유지하는 데 권장됩니다.

최적화된 동기화 빌드

TSP 또는 qualified series ID로만 접근한다면 Enable optimized sync builds가 권장됩니다. 빌드 시간과 저장 공간을 줄이고, series ID를 모든 동기화에 걸쳐 전역적으로 고유하게 만들 필요를 줄입니다. 다른 접근 경로를 사용한다면 이 전제를 먼저 확인합니다.

View 입력 색인

Index view dataset inputs는 View 자체 대신 기반 데이터셋들을 시계열 데이터베이스에 색인하고 각 데이터셋에 프로젝션을 만듭니다. 약 10TB 이상인 큰 View이면서 기반 데이터셋이 10개 미만인 구성이 권장 대상입니다.

여러 작은 데이터셋을 View 하나로 묶어 동기화 하나에 연결할 수 있습니다. 조회 시 View의 기반 데이터셋들을 고려해야 하므로 개수가 많아지면 비용이 늘며, 특히 10개를 넘는 구성은 조회 성능을 검토합니다.

다른 동기화의 시계열 교체

Overwrite series from other syncs backed by other datasets에는 같은 series ID를 쓰는 이전 동기화를 지정하여 새 동기화로 교체할 수 있습니다. 이 설정은 이전 동기화를 실패하게 하며 이전 리소스를 휴지통으로 정리하는 절차가 뒤따릅니다. 스트림 입력 동기화에는 이 설정이 없습니다.

보안 표지와 실행 프로필

상속하는 보안 표지는 온톨로지 TSP로 값을 볼 때도 접근 요건이 됩니다. 세분화된 TSP 권한의 상속 중단 경로는 별도의 고급 보안 설정입니다.

Spark 또는 Flink 프로필을 바꿀 수 있지만 필요한 경우는 드뭅니다.

Pipeline Builder로 만든 동기화는 Pipeline Builder가 구성할 수 있는 필드를 그쪽에서 관리합니다. Catalog에서 같은 필드를 바꾸어도 생성 파이프라인이 다음에 실행되면 Pipeline Builder 설정으로 덮어씁니다.