Preparation 기본 정제 작업

공백, 빈 문자열과 대소문자

열 통계의 Needs trim 전구에서 Trim whitespace를 선택하면 앞뒤 공백을 제거합니다. Empty의 전구에서 Set to null을 고르면 빈 문자열을 null로 바꿉니다.

여러 문자열 열을 함께 정리하려면 해당 열들을 선택하고 Normalize strings에서 작업을 고릅니다. 아무 열도 선택하지 않으면 전체 문자열 열이 기본 대상입니다.

통계에는 대문자, 소문자와 혼합값 수가 나타납니다. Change Case에서 Uppercase, Lowercase 또는 Title case를 선택하여 맞춥니다.

통화 문자열과 결측 표기

$1,234.56처럼 숫자가 아닌 문자가 있으면 string으로 인식될 수 있습니다. 통계의 Numeric 여부를 확인하고 non-alpha 등 숫자로 해석되지 않는 값은 먼저 정리합니다. Change type에서 정수는 Integer, 소수는 Double로 변환합니다.

N/A, Other, None, Unknown 등이 실제로 결측을 뜻하는지 확인합니다. 히스토그램에서 해당 값을 선택하고 필요하면 Filter...로 검색한 뒤 New value에 /NULL을 입력합니다. 값을 선택하지 않으면 열 전체를 null로 바꾸므로 선택 범위를 먼저 확인해야 합니다.

우편번호와 열 이름

5자리와 12345-6789 같은 9자리 ZIP을 5자리로 맞추려면 Extract > Indexed Substring에서 시작 1, 끝 5를 사용합니다.

열 이름 전체를 snake case로 바꾸려면 열 선택을 해제하고 Normalize column names > Standard > Apply를 사용합니다. 바뀌는 대상은 열 이름이며 데이터 값이 아닙니다.

여러 이름을 직접 바꾸려면 Columns 보기에서 이름을 편집합니다. 녹색 이름은 아직 적용하지 않은 변경입니다. 모두 편집한 뒤 오른쪽 changelog 위 Apply로 한 번에 반영합니다.

null 열과 행 제거

통계에서 Null이 100%인 열은 Delete column으로 제거할 수 있습니다. 특정 열의 null 행만 제거하려면 열을 선택하고 Null > Focus in으로 대상을 좁힙니다. 필요 없는 행인지 확인한 뒤 화면 위 Remove rows를 선택합니다.

행 순서와 번호

처음 화면에서 Add new column에 다음 식을 사용하면 현재 계산의 행 순서에 따라 증가하는 값을 만듭니다. 연속 번호나 실행 간 결정적인 값은 아닙니다.

monotonically_increasing_id()

재빌드마다 같은 행의 번호가 달라지거나 히스토그램과 표의 계산 결과가 일치하지 않을 수 있으므로 영구 식별자로 가정하지 않습니다.

작은 데이터셋에 연속 행 번호가 필요하면 다음 식을 사용할 수 있습니다. 큰 데이터셋에는 매우 비싼 연산이 되어 성능을 크게 낮출 수 있습니다.

row_number() over (order by monotonically_increasing_id())

변경 이력 중간에 삽입

changelog에서 새 변경을 넣을 위치의 항목을 선택하거나 그 메뉴의 Preview data로 미리보기 모드에 들어갑니다. 변경을 추가하면 미리 보는 항목 위이면서 이후 변경 아래에 배치됩니다. 끝나면 미리보기 경고 막대의 Cancel로 나갑니다.