Transform table에서 표와 시계열 변환

Transform table은 객체나 객체에서 파생한 표 데이터를 브라우저로 가져와 일괄 분석하는 카드입니다. 속성으로 새 열을 만들고, 값을 편집하거나, 조인과 그룹 집계를 수행하고, 시계열 열에 같은 변환을 적용할 수 있습니다.

최대 크기는 50,000행입니다. 입력뿐 아니라 조인 후의 행 수도 이 한도에 들어야 합니다. 큰 규모의 표 분석에는 Quiver dataset 경로를 함께 검토합니다.

변환 추가

표의 Add Transformation으로 검색 창을 엽니다. 변환 선택에서 열 편집, 필터, 시계열 연산과 null 및 오류 처리 등 작업 유형별로 변환을 찾습니다. 많은 변환은 새 열을 더하고, 조인이나 그룹화는 행과 열의 구조도 바꿉니다.

다음 작업 메뉴의 Transform에서 연산을 선택하면 해당 연산을 적용한 transform table을 추가하는 경로도 있습니다.

단일 입력을 지원하는 연산은 표 밖에서도 그 값에 한 번 적용할 수 있습니다. 상단 Search cards에서 연산을 찾되, 각 카드가 지원하는 입력 및 출력형을 확인합니다.

열, 행과 결합 연산에서 각 변환의 입력과 출력, 필터 조건 및 조인 방식을 확인할 수 있습니다. 온톨로지 속성을 표로 가져올 때에는 문자열 변환과 피벗의 계산 차이도 적용됩니다.

입력 선택

객체 집합, 범주형 차트, 시계열 차트, 개별 시계열 플롯, dataset, 피벗 표와 다른 transform table을 입력으로 사용할 수 있습니다. 데이터를 직접 입력하는 표도 만들 수 있습니다.

Tables 메뉴에서 Transform table을 선택하면 편집기에서 호환되는 기존 입력을 고를 수 있습니다. 각 입력의 다음 작업 메뉴에서도 표를 만들 수 있습니다.

객체 집합

객체 집합의 다음 작업 메뉴에서 Convert > Transform table을 선택합니다.

이 생성 경로는 50,000개 미만의 객체 집합을 사용합니다. 객체마다 한 행, 객체의 고유 ID를 나타내는 Primary Key 열과 주요 속성 열을 만듭니다. 온톨로지에 주요 속성이 없으면 처음 속성들을 최대 20개까지 표시합니다.

Properties에서 객체 속성이나 연결 센서 열을 추가 및 제거하고 드래그로 순서를 바꿉니다. 변환 단계마다 표시할 열 구성을 다르게 정할 수 있습니다.

범주형 차트

막대, 선과 범주형 산점도에서 Table > Transform table을 선택하면 차트의 범주와 집계값을 표로 가져옵니다. 차트를 만든 원래 객체 행을 가져오는 것은 아닙니다. 원래 객체를 분석하려면 해당 차트의 입력 객체 집합을 사용합니다.

개별 시계열 플롯

차트 안의 특정 플롯을 선택하고 다음 작업 메뉴에서 Table > Transform table을 선택합니다. 시계열의 관측 데이터를 표로 바꾸어 수정하거나 새 열을 계산할 수 있습니다.

Range Options는 기본적으로 전체 시간 범위를 사용합니다. 필요한 구간만 가져오려면 시작 및 끝을 직접 입력하거나 시간 범위 매개변수를 연결합니다.

관측을 브라우저로 가져와 50,000행 안에서 처리하므로 데이터가 많으면 표본화가 필요할 수 있습니다.

시각 열은 기본 UTC로 표시합니다. 열 설정에서 사용자 시간대 또는 다른 고정 시간대로 표시를 바꿀 수 있습니다.

시계열 차트 전체

개별 플롯이 아닌 차트를 선택하고 Table > Table from chart's time series를 사용하면 차트의 각 플롯이 표의 한 행이 됩니다. 개별 관측을 행으로 만드는 경로와 구분합니다.

차트의 지표 메뉴를 사용하는 경로는 일괄 시계열 분석에서도 설명합니다.

피벗 표와 다른 Transform table

피벗 표를 입력으로 사용하면 피벗된 결과 열에 수식을 적용할 수 있습니다. 이 경우에도 입력 객체 행이 아니라 집계 결과를 가져오며 원래 객체와의 연결은 유지하지 않습니다.

다른 transform table을 입력으로 사용하면 논리를 여러 단계 묶음으로 나누거나 데이터 계산과 표시 형식을 분리할 수 있습니다. 원래 표의 다음 작업 메뉴에서 Table을 선택하여 새 표를 만듭니다.

수동 입력 표

Manual entry transform table은 스프레드시트처럼 데이터를 입력하는 표입니다. 최대 5,000행이며 String, Number, Boolean, Time과 Time series의 다섯 자료형을 지원합니다.

상단 Manual Entry 또는 Search cards에서 표를 추가합니다. 다른 transform table처럼 변환과 후속 계산에 사용할 수 있습니다.

행과 열 선택기를 함께 사용하면 선택한 행의 값을 후속 분석의 동적 입력으로 전달할 수 있습니다.

외부 스프레드시트의 작은 메타데이터 집합을 복사하여 붙여 넣고 기존 객체 집합과 결합할 수도 있습니다. 객체 집합의 다음 작업 메뉴에서 Join to transform table을 찾습니다.

조인할 표와 일치 조건을 설정합니다.

동기화 없이 작은 시계열을 탐색하려면 시각 및 값 데이터를 붙여 넣고 Tabular time series로 변환합니다.

5,000행보다 큰 관측이나 Foundry 전체에서 재사용할 시계열은 시계열 동기화로 구성하는 것이 적합합니다.

수동 표는 기본적으로 행마다 임의의 고유 기본 키를 만듭니다. 열을 기본 키로 지정할 수도 있으며 이 값은 후속 카드와 행 선택기에 식별자로 전달됩니다.

Ontology SQL

Ontology SQL 카드의 다음 작업 메뉴에서 Convert > Transform tables를 선택합니다. 질의가 반환한 열을 표로 가져온 뒤 필터, 그룹화, 파생 열과 차트 변환을 적용할 수 있습니다.

출력 경로

표의 다음 작업 메뉴에서 시계열, 차트, 다른 표와 단일 값 또는 배열을 만듭니다.

시계열 셀과 열

시계열 셀에 포인터를 놓고 팝아웃 버튼을 선택하면 해당 시계열을 새 차트에 표시합니다.

전체 열을 겹쳐 보려면 Time series > Grouped time series plot을 선택합니다.

입력 시계열 열과 Page size를 지정하여 한 번에 표시할 시계열 수를 정합니다.

시각과 값 열에서 시계열 생성

Tabular time series는 날짜/시각 열과 숫자 열을 한 시계열로 만듭니다. 다음 작업 메뉴의 Time series에서 해당 카드를 선택합니다.

Timestamp column, Value column과 필요한 단위를 지정합니다. 같은 timestamp에 값이 여러 개이면 해당 시각의 첫 점만 표시합니다. 여러 값의 합이나 평균이 자동으로 계산되지는 않습니다.

차트와 표

표 데이터로 선 차트, 범주형 산점도, 막대 차트나 Vega plot을 만들 수 있습니다. 결과 차트는 범주형 수식이나 Overlay chart 등 차트 입력을 받는 다른 카드에 연결할 수 있습니다.

New transform table은 기존 결과를 별도로 정리하고 서식을 지정하는 표를 만듭니다. Pivot transform table로는 집계한 피벗 결과를 표시합니다.

숫자와 배열

열을 집계하여 숫자나 배열을 지표 카드로 출력할 수 있습니다. 이 값은 같은 형식의 입력을 받는 후속 계산에 사용합니다.

계산한 열 추가

Add Transformation에서 만들 자료형에 맞는 숫자, 날짜/시각, 문자열, Boolean, 배열 또는 시계열 탭을 선택합니다.

수식 카드도 표 변환에서 지원되는 입력 및 출력형에 맞춰 사용할 수 있습니다.

조인

Join to Linked Objects

객체 집합에서 시작한 표는 온톨로지 링크를 사용하여 관련 객체를 조인할 수 있습니다. 변환 메뉴의 Tables에서 Join to Linked Objects를 선택합니다.

입력 객체와 가져올 객체 사이의 Link type을 선택합니다. 이 변환은 inner join이며 결과의 기본 키는 양쪽 객체 기본 키의 조합입니다. 가져온 객체의 속성 열도 추가됩니다.

일대일 또는 다대일 링크는 일치한 입력 행의 수를 늘리지 않습니다. 일대다 링크는 연결 객체마다 행이 생겨 행 수가 늘어날 수 있습니다. 연결이 없는 입력은 내부 조인 결과에서 제외됩니다.

예제는 Companies의 505행에서 연결된 Stock Event를 조인하여 11,149행을 만듭니다. 기본 키는 두 객체의 키를 결합하고 Stock Event 속성도 결과 열에 추가합니다.

두 표의 Join

Tables의 Join에서 다음을 설정합니다.

1. 조인할 다른 표를 선택합니다.
2. Join type을 left, inner 또는 full로 정합니다.
3. 일치 조건을 모두 만족할지(all) 어느 하나를 만족할지(any) 고르고 비교할 열 쌍을 하나 이상 지정합니다.
4. 입력 표에서 유지할 열을 선택합니다.
5. 다른 표에서 추가할 열을 선택합니다. 이름이 충돌하면 Prefix for joined columns를 붙입니다.

이 표 조인의 left/inner/full 선택지는 Join datasets의 left/inner/right 선택지와 구분합니다.

Cross Join

Cross Join은 두 표 행의 모든 조합을 만드는 카테시안 곱입니다. 특정 열의 일치 조건으로 조인하지 않습니다. 결과 행 수도 transform table의 50,000행 한도 안에 있어야 합니다.

그룹화와 배열 집계

Group By

Group By는 0개 이상의 열을 기준으로 행을 묶고 다른 열을 그룹별 값 배열로 변환합니다. 예를 들어 Weather Station을 국가로 묶으면 국가별 elevation 배열을 얻습니다.

배열에 Numeric Group Aggregation을 적용하면 숫자 집계를 구할 수 있습니다. 예제는 elevation_array의 평균을 계산하여 국가별 평균 고도를 새 열로 추가합니다.

Joined Group By

Joined Group By는 그룹별 배열을 만든 뒤 원래 표에 다시 조인합니다. 원래 행 수를 유지하면서 각 행에 자신이 속한 그룹의 값 배열을 추가하므로, 개별 값과 그룹 집계를 비교할 때 사용합니다.

배열을 만든 뒤에는 별도 집계 변환이 필요합니다. 그림은 각 기상 관측소 행에 같은 국가의 elevation 배열과 평균을 추가합니다.

시계열 열 구성

시계열 열에는 필터, 미분이나 누적 집계 등을 일괄 적용할 수 있습니다. 여러 시계열 분석에서 전체 과정을 설명합니다.

객체의 시계열 스파크라인

성능을 위해 스파크라인은 명시적으로 추가하기 전에는 기본 표시하지 않습니다. 시계열 또는 센서 객체를 가진 표에서 Time Series Object 변환을 추가하고 해당 객체의 기본 키를 선택합니다.

루트 객체의 연결 센서

온톨로지에서 루트 객체에 센서가 연결되어 있으면 Linked Time Series Sensor 열을 추가하고 부모 객체의 기본 키를 선택하여 연결 시계열을 표시할 수 있습니다.

그룹화한 날짜와 값

Group by로 날짜/시각 배열과 숫자 배열을 만든 뒤 Group to Time Series에서 date group property와 numeric group property에 대응하는 배열을 선택합니다.

예제는 주식 배당 이벤트를 ticker로 묶어 amount_array와 start_ts_array를 만듭니다. Group to Time Series는 이 두 배열의 값과 시각으로 시계열 열을 구성합니다.

표와 열의 서식

표 편집기의 Display에서 열 너비, 최소 높이와 값의 표시를 구성합니다. 숫자 이외의 열에도 너비와 최소 높이를 지정할 수 있습니다.

열 이름을 바꾸려면 Rename columns 변환을 추가합니다.

숫자 값과 조건부 색상

형식 문자열은 D3 숫자 형식을 사용할 수 있습니다. 조건의 값은 직접 입력하거나 매개변수 및 다른 숫자 카드로 연결합니다.

스파크라인의 표시 범위

시계열 열의 스파크라인은 기본적으로 전체 관측 범위를 표시합니다. 열 머리글의 아래 화살표에서 Configure display settings를 선택하면 해당 열의 Display 설정으로 이동합니다.

View range는 다음 네 방식을 지원합니다. 객체 집합 표의 스파크라인에도 같은 절차를 사용할 수 있습니다.

일반 시계열 차트의 새 기본 축 범위와 스파크라인 자체의 기본 전체 범위는 다릅니다. 분석 설정에서 원하는 값을 선택합니다.

주요 카드의 사용 문맥

표 안의 Group to Time Series는 Group by로 만든 날짜/시각 그룹과 숫자 그룹 열을 입력으로 사용합니다. 개별 timestamp/value 열을 받는 표준 Tabular time series와 입력 형태를 구분합니다.