FileSystem: Spark 원시 파일 접근
transforms.api.FileSystem은 Spark 변환에서 데이터셋 원시 파일을 읽고 씁니다. 경량 단일 노드 실행의 대응 인터페이스는 FoundryDataSidecarFileSystem입니다.
transforms.api.FileSystem(foundry_fs, read_only=False)
files
files(glob=None, regex=".*", show_hidden=False, packing_heuristic=None)
접근할 수 있는 파일 경로들을 path, size, modified 열의 PySpark DataFrame으로 반환합니다. 파일 내용의 표가 아니라 파일 목록입니다.
| 인자 | 형식 | 조건 |
|---|---|---|
glob | str | Unix 파일 패턴. globstar도 지원. 기본값 None |
regex | str | 파일 이름에 적용할 정규식. 기본값 .* |
show_hidden | bool | 점 또는 밑줄로 시작하는 숨김 파일 포함 여부. 기본값 False |
packing_heuristic | str | ffd 또는 wfd. 생략하면 자동 선택 |
파일 크기를 기준으로 Spark 파티션을 구성합니다. 계산에 사용하는 파일 크기는 디스크상의 크기에 spark.files.openCostInBytes를 더한 값입니다. 각 파티션의 파일 크기 합은 spark.files.maxPartitionBytes 이하여야 하며, 그보다 큰 단일 파일은 단독 파티션에 들어갑니다.
ffd는 first fit decreasing, wfd는 worst fit decreasing입니다. wfd는 분포가 덜 고를 수 있지만 훨씬 빠르므로 파일 수가 매우 많은 데이터셋에서 권장합니다.
ls
ls(glob=None, regex=".*", show_hidden=False)
데이터셋 루트에서 모든 디렉터리를 재귀적으로 탐색하고 패턴에 맞는 파일을 FileStatus로 내보냅니다. glob과 regex의 의미는 files와 같으며 숨김 파일 기본값도 False입니다. 논리 경로, 바이트 단위 크기와 UTC 1970년 1월 1일부터의 밀리초 수정 시각을 제공합니다.
open
open(path, mode="r", **kwargs)
path는 데이터셋 안의 논리 파일 경로입니다. 기본 모드는 읽기이며 나머지 키워드 인자는 io.open에 전달합니다. 스트림에 연결된 Python 파일 유사 객체를 반환합니다. 파일을 사용할 때는 with 문으로 수명을 관리하고 원시 바이트를 처리할 때는 rb 또는 wb 모드를 사용합니다.
hadoop_path
기반 데이터셋의 Hadoop 경로 문자열 또는 None을 반환하는 속성입니다. 직접 Hadoop I/O를 요구하는 코드에 사용할 수 있습니다.