대화형 실행과 batch build

Workbook UI에서 노드를 실행하면 해당 사용자와 환경에 배정된 대화형 Spark 모듈을 사용합니다. 같은 사용자의 다른 Workbook도 같은 프로젝트와 환경을 쓰면 이 모듈을 공유하므로 작업이 서로 대기할 수 있습니다.

세션 이력에서 각 실행 환경의 Spark 모듈 ID를 확인할 수 있습니다.

동시 실행과 대기

같은 모듈에서는 Python job을 최대 다섯 개까지 동시에 실행합니다. 여섯 번째는 Queueing in Code Workbook으로 표시됩니다. R은 같은 모듈에서 하나씩 실행하므로 언어별 동시성도 구분해야 합니다.

대화형으로 코드를 한 단계씩 수정하지 않고 저장된 출력을 계산하는 경우에는 batch build가 권장됩니다. 오래 걸리는 작업이나 정해진 주기의 데이터 갱신을 대화형 모듈과 분리할 수 있습니다.

Batch의 모듈 배정

스케줄이나 Dataset Preview에서 시작한 batch build는 빌드 안의 환경마다 Spark 모듈 하나를 사용합니다. 여러 Workbook의 데이터셋이 같은 빌드에 포함되고 환경도 같으면 같은 batch 모듈을 공유합니다.

이 모듈에는 대화형 job을 보내지 않습니다. 환경 수, 출력 수와 대화형 사용자 수를 같은 단위로 세지 않습니다.

저장한 데이터셋 빌드

Workbook의 Open Dataset으로 Dataset Preview를 열고 오른쪽 위 Build를 선택합니다.

여러 출력을 함께 빌드하려면 위쪽 톱니바퀴의 Explore Data Lineage를 선택하고 데이터셋들을 고른 뒤 오른쪽 sidebar에서 빌드합니다.

같은 sidebar의 달력 아이콘으로 반복 스케줄을 만들 수 있습니다. 새 입력 도착이나 매일 오전 9시 같은 갱신 요구에 맞춰 스케줄을 구성합니다.

실행 모드 확인

Builds 애플리케이션에서 job의 Details를 엽니다.

Spark 모듈 ID와 isInteractive를 확인합니다.

true이면 대화형 모듈의 job이고, false이면 대화형 job과 모듈을 공유하지 않는 batch build입니다. 단순히 Workbook에서 만든 데이터셋이라는 이유로 모든 실행이 대화형인 것은 아닙니다.