Data Lineage 노드 색상
노드 색상은 계보 구조, 실행 상태와 데이터 접근을 한 화면에서 비교하는 수단입니다. 그래프의 Node color options에서 기준을 선택합니다. 글로벌 브랜치를 선택한 경우 브랜치를 지원하는 속성과 온톨로지 메타데이터는 그 브랜치의 상태를 반영합니다.
구조와 리소스 분류
| 옵션 | 의미 |
|---|---|
No color | 색상 표시를 제거합니다. |
Custom color | 노드를 선택하고 Color 버튼으로 직접 색상을 지정합니다. |
Data Catalog | 소속 카탈로그 collection으로 구분합니다. 여러 collection에 속하면 In multiple collections로 표시합니다. |
Folder | 리소스가 있는 폴더 이름으로 구분합니다. |
Project | Foundry 프로젝트로 구분합니다. |
Repository | 데이터를 만든 저장소 이름 또는 Code Repository, Code Workbook 같은 저장소 유형으로 구분합니다. |
Resource overview | Contour, Code Workbook, Fusion 시트 동기화, 업로드 등 리소스를 만든 방식을 표시합니다. |
Resource type | Foundry 리소스 유형을 표시합니다. |
Branch | 각 노드에서 현재 보고 있는 브랜치를 표시합니다. |
Storage | 데이터를 저장하는 위치를 표시합니다. 가상 테이블을 쓰지 않으면 Foundry로 표시합니다. |
Compute | Foundry 실행에는 Spark, Flink 같은 엔진을, 연산 위임에는 BigQuery, Databricks, Snowflake 같은 외부 엔진을 표시합니다. |
Transaction type | Append 또는 Snapshot 트랜잭션 유형을 표시합니다. |
상태와 접근
| 옵션 | 의미 |
|---|---|
Issues | 리소스에 연결된 이슈 개수로 표시하고 이슈 레이블로 필터링할 수 있습니다. |
Permissions | 데이터 또는 리소스에 대한 사용자의 접근 수준을 표시합니다. 그래프 리소스에 접근할 수 있으면 다른 Foundry 사용자를 골라 그 사용자의 권한을 볼 수 있습니다. |
Build status | 데이터셋의 현재 빌드 상태입니다. 노드를 묶었다면 그룹에서 가장 심각한 상태를 표시합니다. |
Data Health | 상태 검사 결과이며 자신이 구독한 검사만으로 필터링할 수 있습니다. 그룹에서는 가장 심각한 검사 상태를 표시합니다. |
Schedule count | 데이터셋에 설정한 빌드 스케줄 수입니다. 일시중지한 스케줄을 제외할 수 있습니다. |
Sync status | 해당 데이터셋에 설정한 동기화의 상태입니다. |
Code Status | CI 실행, CI 실패와 코드 최신성 등의 상태입니다. |
Code Status의 CI running은 검사가 실행 중이라는 뜻이고 CI Failed는 검사 실패입니다. Out of date는 노드의 코드가 최신 상태가 아니라는 뜻입니다. Unavailable은 해당 노드가 stemma 코드 백엔드를 사용하지 않거나 사용자가 필요한 권한이 없는 경우입니다.
데이터와 로직의 최신성
Out-of-date는 상위 리소스에 비해 데이터 또는 로직이 오래되었는지 표시합니다.
| 상태 | 의미 |
|---|---|
Out-of-date with parent | 직접 상위 리소스가 갱신되었지만 현재 리소스가 아직 반영하지 않았습니다. |
Out-of-date with ancestor | 직접 부모와는 맞지만 더 위의 조상 리소스에 새로운 상태가 있습니다. |
Data out-of-date | 상위의 데이터 갱신을 아직 빌드로 반영하지 않았습니다. |
Logic out-of-date | JobSpec이 변경되었습니다. |
Data와 Logic 변경을 나누어 필터링할 수 있습니다. 마지막 빌드 시각만으로 원천 데이터와 생성 로직의 변경을 모두 판단하지 않습니다.
사용량과 크기
| 옵션 | 의미 |
|---|---|
Time last built | 마지막 성공 빌드 이후 경과 시간입니다. |
Build duration | 가장 최근 성공 빌드의 대략적인 소요 시간입니다. |
Files | 평균 파일 크기, 파일 수와 데이터셋 크기로 구분합니다. |
Row count | 데이터셋 행 수입니다. 아직 값이 없으면 노드 상세 도구나 Dataset Preview에서 계산할 수 있습니다. |
Spark usage | 지정 기간의 executor 실행 시간 또는 CPU 시간입니다. |
User views | 지난 4주 동안의 사용자 조회 수입니다. |
색상은 선택한 지표를 나타내며 서로 다른 지표를 같은 의미로 해석하면 안 됩니다. 예를 들어 Resource Permissions의 Editor 역할과 실제 데이터 조회 가능 여부는 별도로 확인합니다.