Dataset Preview에서 데이터와 실행 상태 확인
Dataset Preview는 데이터셋의 값, 메타데이터, 빌드 이력과 상태 검사를 보여 줍니다. 스트리밍 데이터셋에서는 스트리밍 작업과 성능 지표도 확인할 수 있습니다.
헤더와 정보 패널
헤더에는 데이터셋 이름, 별도로 설정한 표시 이름, 위치와 선택한 브랜치가 표시됩니다. 공유, 이동과 이름 변경 같은 리소스 작업에도 접근할 수 있습니다.
정보 패널은 다음 영역으로 나뉩니다.
| 영역 | 표시하는 정보 |
|---|---|
About | 생성 및 수정 시각, 생성자와 마지막 수정자, 테이블 크기, 데이터를 만든 도구와 입력 데이터셋, 태그 등 |
Columns | 열별 자료형, 설명, null 비율, 분포와 표본값 |
Schedules | 데이터셋을 갱신하도록 설정한 빌드 스케줄 |
About의 Updated by 아래에는 CSV와 JSON 파일의 스키마를 추론하는 Edit schema가 있습니다. 불규칙한 행 제외, 인코딩 변경과 파일 경로, 행의 바이트 오프셋, 가져온 시각, 행 번호 같은 추가 열도 구성할 수 있습니다. 다른 파일 형식의 스키마 편집은 Details > Schema에서 수행합니다.
일반 데이터셋의 탭
Preview
기본 표는 제한된 표본을 표시하며 행 수는 표 헤더에 나옵니다. 필터나 정렬 같은 작업은 전체 데이터셋에 적용되고 미리보기 표본 크기도 늘어납니다. 그렇더라도 데이터가 많으면 전체 행이 화면에 모두 보이지 않을 수 있습니다.
열 메뉴에서 정렬, 필터와 차트를 만들고 셀 값으로 해당 값만 포함하거나 제외할 수 있습니다. 열별 이슈를 보고하거나 조회하고 열 이름을 검색할 수도 있습니다.
History
왼쪽에는 실행 작업의 상태와 소요 시간이 나오고 오른쪽 Summary에는 시간에 따른 상태를 집계합니다. 실행 건을 선택하면 진행 상태, JobSpec, 빌드 로그, 파일과 결과 스키마를 자세히 볼 수 있습니다.
보존 정책이 아직 삭제하지 않은 과거 트랜잭션에서는 새 브랜치를 만들 수 있습니다. 왼쪽에서 트랜잭션을 선택하고 점 세 개 메뉴의 Create branch를 사용합니다.
Details
| 항목 | 용도 |
|---|---|
Schema | 전체 열 스키마를 조회하고 적용 가능한 경우 편집합니다. |
Files | 데이터셋을 구성하는 파일을 보고 다운로드합니다. |
Job spec | 데이터셋을 빌드하는 실행 정의를 봅니다. Furnace SQL 출력은 여러 SQL 정의를 이 영역에 유지할 수 있습니다. |
Syncs | 다른 데이터베이스로의 동기화 상태와 상세를 봅니다. 일부 유형은 추가 설정이 가능합니다. |
Custom metadata | 사용자 정의 정보 필드를 추가합니다. 추가한 값은 개요의 정보 패널에도 표시됩니다. |
Resource usage metrics | 시간에 따른 디스크와 Spark 사용량을 확인합니다. |
Last run details | 스트림의 가장 최근 실행 상세를 확인합니다. 스트림에서만 제공합니다. |
Health
리소스의 상태 검사, 모니터링 뷰별로 묶은 모니터링 규칙과 관련 스케줄 빌드를 확인합니다. 행을 선택하면 검사와 규칙의 과거 보고서를 봅니다.
Compare
두 데이터셋을 비교하거나 같은 데이터셋의 과거 트랜잭션과 비교할 수 있습니다. 다른 브랜치와 원래 브랜치를 비교하여 병합 시 바뀔 내용을 살펴볼 수도 있습니다. Compare를 연 뒤 비교할 상대 데이터셋이나 버전을 지정합니다.
스트리밍 데이터셋
Live와 Archive의 차이
스트림의 미리보기는 최근 수집한 행의 작은 표본입니다. Live updates를 켜면 자동 갱신합니다. 정렬, 필터와 차트는 Archive에서만 가능하며 스트림의 모든 실시간 상태가 아니라 아카이브 데이터셋의 상태를 표시합니다.
다음 탭도 Archive에서만 나타납니다.
| 탭 | 스트림에서의 의미 |
|---|---|
| History | 아카이브 트랜잭션과 스트리밍 작업 이력을 표시합니다. |
| Health | 아카이브 데이터셋의 검사를 표시하며 스트림 자체를 검사하는 화면은 아닙니다. |
| Compare | 아카이브를 다른 비스트리밍 데이터셋과 비교합니다. |
Stream
Stream 탭은 현재와 과거의 스트리밍 작업을 보여 줍니다. 기간을 바꾸어 당시 데이터를 처리한 작업의 로그와 상세 정보를 볼 수 있습니다.
Metrics와 장애 조사
Metrics는 스트리밍 성능 지표의 추세를 표시합니다. 드롭다운에서 지표를 고르면 차트를 추가하거나 전환할 수 있고 권장 진단 지표가 강조됩니다. 차트를 확대하여 임계값, 경고와 디버그 연결을 확인할 수 있습니다.
오른쪽 위의 Troubleshoot and Debug 토글을 켜면 스트림 중단을 조사하는 단계별 안내가 열립니다. 오른쪽 패널의 지표 태그를 선택하면 관련 차트가 강조되어 문제 위치를 찾을 수 있습니다.
수동 파일 업로드
Dataset Preview에서 직접 업로드할 수 있는 형식은 .csv, .tsv, .xls, .xlsm, .xlsx입니다. 원하는 폴더에 데이터셋을 만들고 미리보기 창에 파일을 끌어 놓습니다.
CSV와 TSV에는 스키마 추론을 시도합니다. 이전 업로드와 파일 이름 및 스키마가 같으면 기존 데이터셋을 UPDATE할 수 있고 파일 이름이 다르면 APPEND할 수 있습니다. 이 동작은 파일을 기준으로 하며 같은 이름의 행을 찾아 갱신하는 행 단위 upsert를 뜻하지 않습니다.
추가 분석과 관리
All actions에는 분석, 탐색, 변환과 관리 작업이 모여 있습니다. Contour의 Analyze나 Build처럼 자주 사용하는 작업은 메뉴 밖에도 표시됩니다.
파싱 설정은 CSV 파싱, 불규칙한 입력과 Excel 표시 문제는 문제 해결에서 설명합니다. 과거 커밋의 데이터와 스키마를 탐색하고 변경 시점을 찾으려면 Time Travel을 사용합니다.