가상 테이블의 원천 포인터
VirtualTableConfig는 원천 테이블이나 저장 위치를 가리킵니다. type은 snowflake, unity, glue, delta, iceberg, files, bigquery 중 하나입니다. 연결 유형과 원천에서 사용하는 카탈로그에 맞는 분기를 선택합니다.
이 구성은 가상 테이블 등록의 필수 config 필드에 들어가며 조회 형태의 VirtualTable.config에도 같은 구조를 사용합니다.
분기 snowflake
Snowflake의 데이터베이스, 스키마와 테이블 이름으로 원천 테이블을 지정합니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 분기를 구분하는 type 값입니다. 허용값: snowflake. | snowflake |
database | string | 필수 | 데이터베이스 이름입니다. | MY_DATABASE |
schema | string | 필수 | 스키마 이름입니다. | PUBLIC |
table | string | 필수 | 테이블 이름입니다. | MY_TABLE |
분기 unity
Unity Catalog의 카탈로그, 스키마와 테이블 이름으로 Databricks 테이블을 지정합니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 분기를 구분하는 type 값입니다. 허용값: unity. | unity |
catalog | string | 필수 | 카탈로그 이름입니다. | my_catalog |
schema | string | 필수 | 스키마 이름입니다. | default |
table | string | 필수 | 테이블 이름입니다. | my_table |
분기 glue
AWS Glue의 테이블을 지정합니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 분기를 구분하는 type 값입니다. 허용값: glue. | glue |
database | string | 필수 | 데이터베이스 이름입니다. | my_database |
table | string | 필수 | 테이블 이름입니다. | my_table |
분기 delta
Azure Data Lake Storage, Google Cloud Storage, S3 등 객체 스토리지의 Delta 테이블을 지정합니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 분기를 구분하는 type 값입니다. 허용값: delta. | delta |
path | string | 필수 | 객체 스토리지에 있는 Delta 테이블의 경로입니다. | var/tmp/mytable |
분기 iceberg
Iceberg 테이블을 지정합니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 분기를 구분하는 type 값입니다. 허용값: iceberg. | iceberg |
tableIdentifier | string | 필수 | Iceberg 테이블의 식별자입니다. | mytable |
warehousePath | string | 선택 | Iceberg 테이블을 담은 파일시스템 폴더의 경로입니다. 연결이 warehouse 경로에 의존하지 않는 카탈로그를 사용하도록 구성되어 있으면 생략할 수 있습니다. | /var/tmp/iceberg |
분기 files
Azure Data Lake Storage, Google Cloud Storage, S3 등 객체 스토리지의 테이블을 지정합니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 분기를 구분하는 type 값입니다. 허용값: files. | files |
format | enum | 필수 | 원천 파일의 형식입니다. 허용값: AVRO, CSV, PARQUET. | PARQUET |
path | string | 필수 | 기반 파일시스템의 데이터 저장 경로이며 /foo/bar처럼 스킴을 제외합니다. 파일이나 폴더를 가리킬 수 있습니다. 파티션이 없는 테이블은 위치 하나를 가지며, 파티션 테이블은 파티션별로 여러 위치를 가질 수 있습니다. | /var/tmp/myfolder |
분기 bigquery
BigQuery의 프로젝트, 데이터셋과 테이블 이름으로 원천 테이블을 지정합니다.
| 이름 | 자료형 | 필수 여부 | 의미와 조건 | 예시 값 |
|---|---|---|---|---|
type | enum | 필수 | 분기를 구분하는 type 값입니다. 허용값: bigquery. | bigquery |
project | string | 필수 | BigQuery 프로젝트 이름입니다. | my-project |
dataset | string | 필수 | BigQuery 데이터셋 이름입니다. | mydataset |
table | string | 필수 | BigQuery 테이블 이름입니다. | mytable |
파일 경로와 파티션
files.path는 스킴을 포함하지 않는 단일 문자열이며 파일 또는 폴더의 경로입니다. 파티션 테이블이 여러 저장 위치를 가질 수 있다는 설명을 이 필드에 경로 배열을 넣는 형식으로 바꾸지 않습니다.
files.format의 허용값은 AVRO, CSV, PARQUET입니다. 실제 연결의 형식별 지원과 조회 조건도 가상 테이블 사용 조건에서 확인합니다.
Iceberg의 warehousePath는 연결이 warehouse 경로에 의존하지 않는 카탈로그를 사용하도록 구성된 경우에 생략할 수 있습니다. 모든 Iceberg 구성에서 무조건 생략하는 값으로 처리하지 않습니다.
Snowflake 포인터 예시
다음은 가상 원천 테이블을 가리키는 값입니다. 실제로 접근할 수 있는 데이터베이스, 스키마와 테이블 이름으로 바꿉니다.
{
"type": "snowflake",
"database": "MY_DATABASE",
"schema": "PUBLIC",
"table": "MY_TABLE"
}