Pipeline Builder 관리와 재사용

같은 값을 여러 곳에서 사용하면 매개변수로 관리하고, 같은 연산을 반복하면 사용자 지정 함수나 Subgraph로 묶을 수 있습니다. 그래프 표시를 정리하는 기능과 실제 실행 단위를 바꾸는 기능은 별도로 선택합니다.

재사용할 단위

큰 그래프 탐색

폴더, 색 그룹과 노드 표시로 그래프의 일부만 볼 수 있습니다. 폴더는 하위 폴더로 나누고, 색 그룹은 하나의 그룹 노드로 접거나 숨길 수 있습니다. 텍스트 노드로 구간의 목적과 주의사항을 적을 수도 있습니다.

검색과 열 치환은 특정 열이나 매개변수를 사용하는 위치를 찾고 일괄 변경할 때 사용합니다. 중간 결과의 분포는 차트에서 확인합니다.

실행 단위와 비용

Job group은 어떤 출력들을 한 job에서 실행할지 정합니다. 같은 그룹은 컴퓨팅 자원뿐 아니라 실패 범위와 입력의 보안 표지도 공유합니다. 스트리밍에서 그룹을 나누면 그룹마다 Flink 클러스터가 필요합니다.

같은 변환 결과를 여러 출력에서 쓰면 checkpoint로 중간 결과를 저장할 수 있습니다. 공유 출력을 같은 job group에 묶어야 계산을 재사용하며, 저장 및 읽기 비용이 더 클 수도 있으므로 적용 대상을 고릅니다.

빌드 설정은 엔진별 자원과 실행 동작을 정합니다. Standard Spark의 큰 프로필은 프로젝트 가져오기 권한이 필요합니다.

미리보기를 빠르게 하려면 입력 샘플링을 사용할 수 있습니다. 샘플링은 프로토타이핑용이며 실제 배포는 전체 데이터로 실행합니다. 샘플링 오류는 노드 배지와 Pipeline errors에 나타납니다. 미리보기 설정에서 자동 실행이나 실행 전 확인을 플랫폼 인스턴스 및 사용자 단위로 조정할 수도 있습니다.

Java 라이브러리를 사용해야 하는 배치 파이프라인은 코드 내보내기를 검토합니다. 내보내기는 대상 브랜치를 덮어쓰며 Builder로 역변환할 수 없으므로 일반적인 저장이나 브랜치 복사와 구분합니다.