Pipeline Builder 미리보기와 통계

미리보기는 선택한 노드까지의 로직과 열 통계를 확인하는 기능입니다. 노드를 선택하면 원시 입력부터 해당 노드까지 계산하여 아래 패널에 결과를 보여 줍니다. 그래프의 미리보기 펼치기 아이콘으로 패널을 확장할 수도 있습니다.

열 통계와 행 수

열을 오른쪽 클릭하고 View stats를 선택합니다.

패널 오른쪽 아래의 Calculate row count는 현재 미리보기 입력 범위에 대한 행 수를 계산합니다. 화면에 보이는 행 개수와 전체 계산한 행 수는 구분해야 합니다.

타임스탬프 표시 시간대

변환 출력에 타임스탬프 열이 있으면 미리보기 도구 모음에 시간대 선택기가 나타납니다. 선택한 시간대로 값을 다시 표시하여 다른 시간대의 사용자가 보게 될 모습을 확인할 수 있습니다.

이 선택은 같은 세션의 데이터셋, SQL과 변환 출력 미리보기 사이에서 공유됩니다. 스키마에 타임스탬프가 없으면 선택기는 숨겨집니다. 표시 시간대 선택은 원본 데이터의 시점을 새 값으로 변경하는 변환이 아닙니다.

자동 실행과 확인 후 실행

기본적으로 미리보기는 자동 실행됩니다. 관리자는 Control Panel > Pipeline Builder의 Enable preview confirmation by default로 플랫폼 인스턴스의 기본 동작을 바꿀 수 있습니다.

사용자는 Settings > User preferences > Automatic preview behavior에서 다음 중 하나를 선택합니다.

• Automatically run preview
• Require confirmation to run preview

사용자가 Pipeline Builder의 미리보기 설정을 지정하면 플랫폼 인스턴스의 기본값보다 우선합니다. 사용자 설정은 해당 인스턴스에서 그 사용자가 보는 파이프라인들에 적용되며 다른 사용자의 기본값을 바꾸는 설정은 아닙니다.

500행 표시와 입력 샘플

미리보기 표는 기본적으로 최대 500행을 처리하여 표시합니다. 단순한 변환은 입력 500행만 필요할 수 있지만 필터, 조인과 중복 제거는 결과 500행을 만들기 위해 더 많은 입력을 읽을 수 있습니다.

입력 샘플링 전략으로 계산에 사용할 데이터를 줄이면 미리보기가 빨라질 수 있습니다. 비율 기반 샘플링 외에 파일 데이터셋은 파일 메타데이터에서 만든 열로 필터링하는 방식도 사용할 수 있습니다. 샘플링 전략은 미리보기에만 영향을 주고 실제 빌드에는 적용되지 않습니다.

행 수와 열 통계도 선택한 입력 범위에서 계산합니다. 전체 입력을 사용하면 전체 빌드와 같은 범위의 결과를 계산하지만, 샘플을 사용하면 그 샘플에 대한 통계입니다.

600행 입력 예제

가상 입력에는 id가 1부터 600까지이고 값은 row_1부터 row_600까지인 600행이 있다고 가정합니다. 기본 표에는 최대 500행만 나타나며 반드시 입력의 첫 500행인 것은 아닙니다.

작은 비율의 샘플링 결과 다음 여섯 행이 선택되었다고 가정합니다.

상수 열 hello에 world를 넣는 변환의 미리보기는 다음과 같습니다.

이 미리보기에서 계산한 행 수는 6이고 통계도 여섯 행의 값입니다. 실제 파이프라인을 빌드하면 샘플링 제한 없이 600행 전체에 변환을 적용합니다.