직접 데이터소스로 온톨로지에 쓰기

직접 데이터소스(Direct datasource)는 낮은 지연으로 온톨로지에 데이터를 쓰고 사용자 편집을 함께 적용하는 Beta 기능입니다. 플랫폼 인스턴스에 따라 제공되지 않을 수 있고 기능이 변경될 수 있습니다. 작성 앱은 Pipeline Builder만 지원합니다.

처리량을 낮추는 대신 스트림 기반 데이터의 사용자 편집과 시각 기반 순서 제어를 제공합니다. 데이터와 편집 모두 빠르게 반영해야 하는 업무나, 작고 잦은 배치 증분 빌드의 전체 인덱싱 지연이 너무 긴 업무에 사용할 수 있습니다.

Pipeline Builder 구성

1. 객체 유형 출력을 가진 스트리밍 파이프라인을 만듭니다.
2. Use a direct datasource to back this object type과 Allow edits to objects of this type을 모두 켭니다.
3. 객체 출력의 속성과 기본 키 등을 구성하고 배포합니다.

배포한 객체 유형은 Ontology Manager에 나타나며 Insight와 Object Explorer에서 객체를 볼 수 있습니다. 직접 데이터소스는 브랜치에서 사용할 수 없습니다. 재생(Replay) 후 과거 데이터 보충에 시간이 오래 걸릴 수도 있습니다.

Source timestamp로 늦게 온 쓰기 제외

객체의 생성 또는 갱신 시각을 나타내는 기존 Timestamp 속성을 Source timestamp로 선택할 수 있습니다. 새 직접 쓰기의 시각이 객체의 기존 값보다 이전이면 그 쓰기를 버립니다.

이 순서 제어는 설정 후 들어온 쓰기에만 적용합니다. 설정 전에 잘못된 순서로 반영한 데이터를 다시 처리하려면 상류 파이프라인을 재생해야 합니다.

재생은 기존 객체 뷰를 즉시 비우고 새 뷰로 바꿉니다. 모든 기존 객체가 제거되고 새 뷰가 채워질 때까지 불완전하거나 비어 보일 수 있으므로 재생 전에 영향을 확인해야 합니다.

1. Ontology Manager에서 객체 유형의 Datasources를 엽니다.
2. Direct writes의 Source timestamp를 찾습니다.
3. Timestamp property에서 기존 Timestamp 속성을 선택합니다. 옆의 x로 구성을 제거할 수 있습니다.

작성 파이프라인과 최신 상태 찾기

Datasources의 Direct writers에서 해당 데이터를 쓰는 Pipeline Builder 파이프라인으로 이동할 수 있습니다.

Object Storage v2 구역은 다음 신선도(Liveness) 정보를 보여 줍니다.

작업 지표와 제외된 레코드

Live 파이프라인의 직접 데이터소스 노드를 선택합니다. View metrics에서 Flink 작업의 로그, 작업 이력과 지표를 확인하고, Latest job의 ... 메뉴에서 View job details로 현재 작업을 조사합니다.

잘못된 직접 쓰기는 제외되며 온톨로지에 나타나지 않습니다. Datasources의 경고에서 View logs를 열면 어떤 기본 키가 어떤 이유로 제외되었는지 볼 수 있습니다.

주된 원인은 데이터 검증 실패입니다. 상류에서 데이터 구조를 고친 뒤 재생하면 뷰를 다시 구성하고 유효한 쓰기가 들어올 때 경고가 사라집니다. 재생의 전체 객체 뷰 초기화 영향을 함께 고려해야 합니다. 원인을 알 수 없으면 Palantir Support에 문의합니다.

자주 발생하는 문제

초기 배포나 출력을 초기화하는 재생에서는 Funnel 준비가 시간 초과를 일으켜 작업이 제출되기 전에 실패할 수 있습니다. 자동 재시도 한도를 넘었다면 실패한 작업을 다시 빌드합니다. 재생 배포를 다시 시작하면 Funnel 준비도 다시 시작하므로 같은 시간 초과를 반복할 수 있습니다.

객체가 없으면 먼저 Data 신선도를 확인합니다. 예를 들어 30분 전 상태라면 원천 스트림이 멈췄을 가능성이 있으므로 현재 작업과 지표를 조사합니다. Data가 최신이면 검증에서 제외한 쓰기가 있는지 확인합니다. 특정 시점 이후의 쓰기가 모두 잘못되었다면 데이터가 오래된 상태이면서 객체도 누락될 수 있으므로 두 원인을 함께 확인해야 합니다.