Pipeline Builder 화면과 탐색
시작 화면에서는 파이프라인 목록과 각 스트리밍 데이터셋의 상태, 배포 상태 및 백엔드 유형을 볼 수 있습니다. 즐겨찾기를 지정하거나 즐겨찾기만 표시하여 자주 사용하는 파이프라인을 찾습니다. 파이프라인을 열면 Edit, Proposals, History를 사용할 수 있습니다.
Edit의 위쪽 도구 모음
Edit 화면은 위쪽 도구 모음, 상세 사이드바, 그래프와 미리보기로 나뉩니다.
| 제어 | 기능 |
|---|---|
| Undo / Redo | 최근 편집을 되돌리거나 다시 적용합니다. |
| 브랜치 선택 | 현재 브랜치를 확인하고 전환하거나 Create new branch로 새 브랜치를 만듭니다. |
Save | 현재 브랜치에 변경을 저장합니다. 채워진 Saved 상태가 저장 완료를 나타냅니다. |
| Proposals 메뉴 | 현재 브랜치의 열린 제안을 보거나, 저장한 변경을 main으로 병합하는 새 제안을 만듭니다. 이 제안 경로는 main에서 다른 브랜치로의 병합을 지원하지 않습니다. |
Deploy | 배포 검증을 통과한 파이프라인의 출력을 빌드합니다. |
Build settings | 실행 방식에 맞는 연산 프로필을 선택합니다. |
| Builds and checks status | 빌드 및 동기화 상태와 검사 통과 및 실패를 확인합니다. |
Share | 상세 사이드바에서 공유 및 접근 설정을 엽니다. |
브랜치 편집은 자동 저장되지 않습니다. 그래프 화면을 떠나기 전에 직접 저장해야 합니다. 저장과 배포도 별개이므로 실행 중인 로직을 바꾸려면 배포가 필요합니다.
Spark 배치의 기본 자동 확장 프로필은 적은 코어와 메모리에서 시작합니다. Medium과 Large 같은 크기 및 관리 전략은 실제 빌드 설정에서 선택합니다. 큰 프로필은 실행 시간이 줄어들 수 있지만 사용량과 가져오기 권한을 함께 확인해야 합니다. 프로필 사용 요령에서 차이를 설명합니다.
상세 사이드바
오른쪽 위 아이콘으로 상세 사이드바를 열거나 닫습니다.
| 항목 | 의미와 작업 |
|---|---|
Description | 파이프라인의 설명을 작성하거나 수정합니다. |
Views | 최근 30일 동안 조회된 총횟수입니다. |
Followers | 진행 상황을 팔로우하는 사용자 수를 보고 자신도 팔로우할 수 있습니다. |
Comments | 댓글 추가, 편집, 여러 변경에 걸친 논의와 해결 처리를 합니다. |
Collaborators | 협업자를 확인하고 View에서 추가 시점을 봅니다. |
Access | 파이프라인의 조직과 자신의 역할을 확인하고 접근 관리를 엽니다. |
Misc | 파일 위치와 마지막 수정 시각을 확인합니다. |
접근 요건과 역할
Access requirements에서 조직과 보안 표지 요건을 확인합니다. 조직 요건은 적용된 조직 중 적어도 하나에 대한 구성원 또는 게스트 자격을, 보안 표지는 적용된 모든 표지에 대한 접근 자격을 요구합니다. 표지의 Add에서 필요한 요건을 검색하여 추가할 수 있습니다.
Roles > Manage에서는 역할을 관리합니다. Link sharing은 공유 링크를 통해 접근하는 사용자에게 역할을 부여하는 설정이며, Add a user or group으로 특정 사용자 또는 그룹에 역할을 부여할 수도 있습니다. 링크 역할 부여와 필수 접근 요건 충족은 별도로 판단합니다.
Check access > Check에서 사용자나 그룹을 검색하면 필요한 요건을 충족하는지와 부여된 역할을 확인할 수 있습니다.
그래프 조작
| 제어 | 기능 |
|---|---|
| Panning mode | 클릭한 채 끌어 그래프를 이동합니다. |
| Drag select mode | 영역을 끌어 여러 노드를 선택합니다. 이동 모드에서도 Shift를 누르고 끌면 영역 선택을 할 수 있습니다. |
Select | 전체 노드를 선택합니다. |
Remove | 선택한 노드를 파이프라인에서 제거합니다. |
Layout | 노드를 자동으로 배치합니다. |
Add datasets | 입력 데이터셋을 검색하여 그래프에 추가합니다. |
Parameters | 이름과 값을 가진 재사용 매개변수를 구성합니다. |
Transform | 선택한 입력을 변환, 조인 또는 Union합니다. 노드의 팝업 메뉴에서도 선택할 수 있습니다. |
Edit | 선택한 변환 노드의 구성을 편집합니다. |
Legend | 노드 색상을 확인하거나 Add color로 색상을 추가합니다. |
| 확대 및 축소 | 확대, 축소 또는 전체 그래프에 맞추기를 선택합니다. |
노드는 같은 파이프라인 또는 다른 Pipeline Builder 리소스 사이에서 복사하고 붙여 넣을 수 있습니다. macOS는 Cmd+C, Cmd+V, Windows는 Ctrl+C, Ctrl+V를 사용합니다.
출력 사이드바
그래프 오른쪽 끝의 펼치기 아이콘으로 출력 사이드바를 엽니다. 출력의 빌드 요구, 스키마와 검증 오류를 확인하고 새 출력을 추가합니다.
| 출력 탭 | 작업 |
|---|---|
Datasets | 데이터셋 출력과 검증 및 스키마 오류를 확인합니다. 열 추가 및 제거, 입력 스키마 사용, 출력 삭제와 추가를 할 수 있습니다. |
Object types | 새 객체 유형을 만들거나 데이터셋 스키마에서 생성하거나 기존 유형을 추가합니다. |
Link types | 두 객체 유형 사이에 링크 출력을 구성합니다. |
미리보기
노드를 선택하면 원시 입력부터 그 노드까지의 로직을 실행하여 샘플을 보여 줍니다. 기본적으로 자동 실행하지만 사용자 설정에서 실행 전 확인을 요구할 수 있습니다. 패널의 노드 이름을 편집하거나 열 이름을 검색할 수 있습니다.
미리보기 패널의 펼치기 아이콘으로 크기를 바꾸고, 데이터셋 노드의 오른쪽 클릭 메뉴에서 Open을 선택하여 전체 Dataset Preview로 이동할 수 있습니다. 표시 행 수와 샘플 통계의 범위는 미리보기에서 설명합니다.
Proposals
제안 목록은 열림, 병합됨 또는 닫힘 상태로 필터링할 수 있습니다. 각 항목에는 생성 시각과 작성자, 상태 아이콘이 표시됩니다.
제안의 Comments 사이드바에서 논의하거나 노드 차이 화면에 댓글을 붙일 수 있습니다. 댓글을 편집하고 여러 변경을 논의하며 해결 상태로 표시할 수 있습니다.
History
브랜치 선택 메뉴에서 볼 브랜치를 고르면 최근 저장 및 배포 활동을 확인할 수 있습니다. 각 저장 상태의 Actions에는 다음 작업이 있습니다.
Create branch는 선택한 상태를 기준으로 새 브랜치를 시작합니다.View details는 당시 그래프의 읽기 전용 모습을 엽니다. 현재 파이프라인을 되돌리지 않고 과거 상태를 조사할 수 있습니다.View changes는 직전 저장과 해당 변경 사이의 차이를 분할 그래프로 보여 줍니다.
제안을 열면 Changes에서 노드나 설정 변경을 검토 완료로 표시할 수 있습니다. 사이드바는 검토한 항목과 남은 항목을 구분하고 노드 체크 배지와 위쪽 진행률 표시가 검토 상태를 보여 줍니다. Changes 탭 또는 그래프에서 직접 표시할 수 있습니다.