Pipeline Builder 편집과 운영 요령

그래프가 커질수록 선택, 이름, 미리보기 범위와 실행 자원 구성을 함께 관리해야 합니다. 반복 작업은 단축키와 재사용 기능으로 줄이고, 성능 변경은 실제 입력과 지원되는 연산을 기준으로 선택합니다.

사용자 설정

설정 메뉴의 User preferences에서 작업 방식을 정하고 저장합니다.

자주 사용하는 설정은 다음과 같습니다.

• Collapsed transform style의 Pseudocode는 접힌 변환을 코드와 비슷한 형태로 표시합니다. 특정 언어의 실행 가능한 코드 문법은 아닙니다.
• Name transform paths automatically는 아직 이름을 지정하지 않은 새 변환 경로를 AIP로 자동 명명하도록 설정합니다.
• 연결선의 곡선 및 직선, 경로를 열 때 전체 접기 및 펼치기와 자동 미리보기 실행도 선택할 수 있습니다.

단축키와 노드 선택

Help > View hotkeys에서 현재 환경의 전체 목록을 엽니다.

전체 선택 외에도 개별 노드를 선택하거나 영역을 끌어 묶음을 선택할 수 있습니다. 오른쪽 클릭의 Copy와 Paste도 사용할 수 있습니다. 다른 파이프라인에 붙여 넣어도 색상 그룹 설정이 유지됩니다.

입력으로 사용할 노드의 출력 원형 연결점을 끌어 대상 노드의 입력 원형 연결점에 놓으면 경로를 연결할 수 있습니다.

저장 전 변경 확인과 경로 분리

오른쪽 사이드바의 View changes에서 현재 브랜치의 저장하지 않은 변경을 확인하고 다른 브랜치와 비교할 수 있습니다.

노드 하나에 넣을 수 있는 변환 수에 고정된 한도는 없습니다. 다만 큰 로직을 모두 한 노드에 넣기보다 의미 있는 단계별 노드로 나누면 수정과 문제 조사 범위를 이해하기 쉽습니다.

반복되는 변환 보드는 사용자 지정 변환 경로로 묶어 재사용할 수 있습니다. 변환 노드의 +에서 공통 함수로 구성합니다.

가상 입력 생성

수동 입력 테이블에 열을 정의한 뒤 오른쪽 위의 Generate data를 선택합니다. 각 열의 Auto-populate with에서 자료형에 맞는 생성 방식을 선택하거나 Generate with LLM에 사용자 프롬프트를 입력합니다. 준비 후 Generate table을 선택합니다.

생성한 데이터는 실제 업무 원천을 관측한 결과가 아닙니다. 개발 및 테스트 사례로 사용하는 경우 필요한 경계값과 분포를 직접 확인합니다.

AI로 작성하고 설명하기

변환 생성

기준 노드를 선택하고 Generate를 누릅니다. 프롬프트를 입력하여 다시 Generate를 선택하면 그 노드 뒤에 새 변환 노드를 만듭니다. 생성한 노드의 이름은 일반 노드처럼 바꿀 수 있습니다.

로직 설명

설명할 노드들을 선택하고 그래프 위쪽의 보라색 전구 아이콘을 누르면 선택한 로직의 요약이 텍스트 영역에 나타납니다. 개별 변환 보드 오른쪽 위 전구에서도 설명을 요청할 수 있습니다.

정규식 보조

대상 데이터셋의 Transforms 패널에서 정규식 함수와 열을 선택합니다. 패턴 입력 오른쪽의 보라색 별 아이콘을 누르고 원하는 패턴을 설명한 뒤 Generate를 선택합니다. 제안된 정규식을 적용하고 미리보기에서 필요한 입력과 경계 사례를 확인합니다.

AI FDE

Applications에서 AI FDE를 찾고, 기존 파이프라인 링크를 채팅 입력에 붙여 리소스로 추가합니다. 이 맥락에서 노드 추가 등 파이프라인 작성 작업을 요청할 수 있습니다.

작성 보조와 실행 중 데이터를 LLM에 전달하는 노드는 다른 기능입니다. 생성된 로직은 실제 열, 자료형과 업무 의도를 검토한 뒤 사용합니다.

Faster로 전환

새 배치 파이프라인의 Select batch compute에서 Faster를 선택하거나 기존 Standard 파이프라인의 Settings > Convert to faster pipeline을 사용할 수 있습니다. 호환성을 확인하고 Convert pipeline으로 전환합니다.

지원하지 않는 표현식이나 변환이 있으면 경고가 표시됩니다. 변환 검사 표시를 켜서 아래 패널에서 미리 조사할 수 있습니다. 미디어나 지리 공간 범주 전체가 같게 지원되는 것은 아니며, 개별 표현식의 실행 모드와 전체 그래프의 호환성을 확인해야 합니다. Faster 구성에 구체적인 조건이 있습니다.

연산 프로필과 관리 전략

임베딩이나 LLM 등 비용이 큰 모델 연산에는 빌드 설정을 확인하도록 경고가 나타날 수 있습니다. 오른쪽 Build settings의 Default compute profile에서 크기를 선택합니다.

Standard Spark 배치에서는 Extra small, Small과 Medium이 자동으로 제공됩니다. Large와 Extra large 및 같은 크기의 사용자 지정 프로필은 프로젝트에 가져와야 하며, Compass 프로젝트 Editor 또는 Owner와 Resource Management 관리자 권한을 함께 요구합니다. 파이프라인 파일의 Owner만으로 충분하지 않습니다. 필요한 권한이 없으면 선택지가 비활성화됩니다. Faster와 스트리밍에는 이 추가 프로필 권한 절차를 적용하지 않습니다.

Profile management strategy는 다음과 같이 구분합니다. Faster는 Standard 전략만 지원합니다.

관리형 평가의 정확한 조건은 관리형 프로필에서 확인합니다. 큰 프로필을 고르는 것과 특정 병목이 해결되는지는 별개입니다.

미리보기 입력 줄이기

입력 데이터셋을 오른쪽 클릭하여 Sampling strategies를 엽니다. 이 입력에서 이어지는 모든 하위 노드의 미리보기에 적용됩니다.

Filtered preview에서는 표현식으로 행을 선택할 수 있습니다. 예시에서는 original_language = en인 행만 남깁니다.

Apply to all로 여러 입력에 같은 전략을 적용할 수 있습니다. 해당 입력이 전략을 지원하지 않으면 경고가 나타납니다. 예를 들어 미디어 집합에는 비율 기반 샘플링을 적용할 수 없습니다. 샘플은 실제 빌드에 영향을 주지 않으며, 미리보기의 행 수와 통계가 샘플 기준임을 미리보기 범위와 함께 확인합니다.

단위 테스트

오른쪽 단위 테스트 도구에서 + New test를 선택하고 시험할 변환을 고릅니다.

스키마를 직접 지정하거나 기존 데이터셋에서 가져온 뒤 Unit test input node에 시험 데이터를 넣고 Unit test output node에 예상 결과를 넣습니다. Run test로 비교 결과를 확인합니다.

그래프 정리

파일 아이콘의 Pipeline file tree에서 폴더를 만들고 노드를 옮기며 폴더별로 표시하거나 숨길 수 있습니다. 색상을 지정한 노드 묶음은 하나로 접어서 볼 수도 있습니다.

그래프 도구 모음의 Add new text node는 Markdown 설명을 추가합니다. 텍스트 노드는 다른 노드 뒤에 놓이므로 구간 설명과 배경 주석에 사용할 수 있습니다.

오른쪽 검색 패널에서 열 이름을 찾아 바꿀 수 있습니다. 자동 배치와 격자 맞춤을 사용하면 노드 정렬을 유지하기 쉽습니다.