Model Studio 입력 데이터

Model Studio는 Foundry 데이터셋을 입력으로 받으며 학습기가 필요한 데이터 종류와 열 역할을 정합니다.

데이터와 열 매핑

입력 카드마다 대응 데이터셋을 지정합니다. 필수 카드와 선택적 카드가 있습니다. 시험 데이터는 보통 선택적이며 없으면 학습 작업이 데이터의 20%를 시험용으로 나눕니다.

열은 목표, 타임스탬프와 선택적 item_id 같은 역할에 매핑합니다. 각 역할의 허용 자료형을 충족하는 열만 선택할 수 있습니다. Ignore한 열은 학습 입력에서 제거됩니다.

Preview로 데이터와 열 통계를 확인하면서 매핑할 수 있습니다.

필터와 메모리

조건으로 null이 많은 행이나 제외할 부분집합을 제거할 수 있습니다.

Parquet는 데이터를 내려받기 전에 필터를 적용하는 pushdown을 지원하므로 작업 메모리를 줄일 수 있습니다. Foundry 파이프라인 출력은 일반적으로 이 형식을 사용하지만 업로드 CSV 같은 비Parquet는 pushdown을 지원하지 않습니다. 필터 후 행 수만 보고 메모리를 잡지 말고 필요하면 더 많은 메모리를 제공해야 합니다.