스트리밍 프로필과 자원 권한

Foundry는 Flink 실행 환경을 관리하고 기본 작업 설정을 제공합니다. 대부분의 작업은 별도 조정 없이 시작할 수 있습니다. 스트리밍 프로필(Streaming profile)은 처리량, 레코드 크기 또는 상태 크기 때문에 기본 자원으로 실행하기 어려운 작업의 설정을 조정합니다.

프로필은 Flink의 모든 설정을 노출하지 않습니다. 플랫폼이 관리하는 설정 중 특정 자원 요구와 관련된 일부 항목을 조정하며, 서로 다른 항목의 프로필을 조합할 수 있습니다.

프로필을 추가할 때

처리량이 매우 높으면 병렬성을 높여야 할 수 있습니다. 매우 큰 레코드를 처리하거나 집계 및 조인 상태가 크면 Job Manager 또는 Task Manager에 추가 자원이 필요할 수 있습니다.

프로필은 구체적인 문제가 있을 때 적용합니다. 실행 관리 화면의 로그와 오류, 작업의 상태 규모와 처리량을 살펴 필요한 자원을 판단합니다. 상시 실행 작업에 자원을 더 할당하면 지속적인 연산 비용에도 영향을 줍니다.

Pipeline Builder에서 선택

Pipeline Builder에서는 Deploy 옆의 빌드 설정에서 사용할 수 있는 스트리밍 프로필을 선택합니다.

Advanced 프로필에서는 서로 다른 설정 요소를 조합할 수 있습니다.

표시되는 프로필은 사용하는 애플리케이션과 환경의 보안 및 가시성 조건에 따라 다를 수 있습니다.

프로젝트 참조 요구

스트리밍 작업이 사용하는 프로필은 해당 작업이나 애플리케이션과 같은 프로젝트에 리소스 참조(Project reference)로 추가되어 있어야 합니다. 참조가 없는 프로필을 사용하면 이 요구가 누락되었다는 오류와 함께 작업이 실패합니다.

프로젝트의 작업 공간 측면 패널에서 References를 열면 가져온 참조를 확인할 수 있습니다. 관리자는 어느 프로젝트에서 추가 자원을 사용할지 참조를 통해 통제하고, 해당 프로젝트의 운영자는 허용된 프로필을 사용합니다.

프로필 참조 추가와 제거

Pipeline Builder의 프로필 선택기는 선택한 프로필을 보통 프로젝트 참조로 자동 추가합니다. 대부분의 프로필은 프로젝트에 리소스를 가져올 권한이 있는 사용자가 추가할 수 있습니다. 일반적으로 프로젝트 역할에 compass:import-resource-to 권한이 필요합니다.

사용자 Settings의 Roles 탭에서 Filter operations...로 해당 권한을 검색해 역할 구성을 확인할 수 있습니다.

Control Panel의 Enrollment Settings에서 Streaming profiles를 열면 사용 가능한 프로필을 볼 수 있습니다. 특정 프로필을 선택하면 자신이 접근할 수 있는 프로젝트 중 그 프로필을 참조하는 프로젝트를 확인하고, 새 프로젝트에 가져오거나 기존 참조를 제거할 수 있습니다.

프로젝트에서 프로필 참조를 제거하면 그 프로필에 의존하는 스트리밍 작업이 동작하지 않게 됩니다. 참조 제거를 화면 목록 정리로 취급하지 말고 실행 의존 관계를 먼저 확인합니다.

큰 자원을 할당하는 프로필

자원 할당량이 큰 제한 프로필은 Control Panel의 Enrollment Settings에 있는 Streaming profiles에서 참조를 추가해야 합니다. 이 설정은 Enrollment Resource Administrators로 지정한 사용자만 사용할 수 있습니다.

관리자 지정은 Enrollment permissions에서 수행합니다. 이 관리자는 접근할 수 있는 프로젝트에 제한 프로필을 가져올 수 있습니다. 관리자가 참조를 추가한 뒤에는 해당 프로젝트에 접근할 수 있는 사용자가 그 프로필을 사용할 수 있습니다.