Foundry에서 Spark UI 사용하기

Spark UI는 Foundry의 Spark details를 보완하는 Spark 자체 웹 화면입니다. 실행기의 시작과 종료, 더 큰 태스크 및 실행기 지표 표본, 최대 메모리 사용과 실제 실행에 사용한 Spark 구성을 확인할 수 있습니다.

디버그 작업에서 열기

Transforms 작업을 디버그 작업으로 다시 실행하면 Spark UI 버튼이 나타납니다. 버튼을 선택하여 Spark 웹 화면을 엽니다. Spark 이벤트가 화면에 나타나기까지 1~2분 지연이 있을 수 있습니다.

Foundry에 맞춘 지표 해석은 Spark details에서 시작하고, 더 자세한 실행 정보가 필요할 때 Spark UI를 함께 사용합니다.

데이터셋 쓰기의 하위 SQL 실행

Spark는 SQL 작업을 주 쿼리와 하나 이상의 하위 쿼리로 나눌 수 있습니다. Foundry 데이터셋 쓰기에서는 주 쿼리보다 하위 실행에 중요한 그래프가 들어 있는 경우가 있습니다.

Writing dataset ... SQL 실행을 열었다면 Sub Execution IDs에 연결된 실행을 확인합니다.

주 실행에 정보가 적게 보인다고 실제 연산 계획이 없는 것으로 판단하지 않습니다. 연결된 하위 실행에서 읽기, 연산과 쓰기 경로를 확인합니다.

초기 count 작업

Jobs 탭에는 변환 시작 시 초기 count 작업이 보일 수 있습니다. 이는 실행 환경이 의존성을 설치하는 등 추가 준비를 수행하는 동안 실행기 할당을 미리 요청하기 위한 작업입니다.

준비가 끝났을 때 실행기가 이미 확보되어 있을 가능성을 높이는 동작이므로, 자신의 코드에 직접 작성한 행 수 계산과 구분합니다.