스트리밍 데이터셋 생성(Create Streaming Dataset) (V2)

새 스트리밍 데이터셋과 초기 브랜치의 스트림을 만듭니다. 브랜치를 지정하지 않으면 기본 브랜치를 사용하며 대부분의 플랫폼 인스턴스에서는 master입니다. 사용자 폴더에는 만들 수 없으므로 대상 폴더를 선택합니다.

파티션 수의 생략값은 1, 스트림 유형의 기본값은 LOW_LATENCY, 압축의 기본값은 false입니다. 파티션 수는 생성한 스트림에서 나중에 직접 바꿀 수 없습니다. 기존 데이터를 지우는 초기화는 새 뷰를 만드는 별도 작업입니다.

이 엔드포인트는 미리보기 기능이며 언제든 변경되거나 제거될 수 있습니다. 사용하려면 preview=true를 지정합니다.

HTTP 요청

POST /api/v2/streams/datasets/create

작업 식별자는 v2.createStreamingDataset입니다. OAuth2로 호출하는 타사 애플리케이션에는 api:streams-write 권한 범위가 필요합니다. 각 요청에 Authorization: Bearer <접근 토큰>을 전달합니다.

경로 매개변수

지정할 경로 매개변수가 없습니다.

쿼리 매개변수

요청 본문

본문 형식은 CreateStreamingDatasetRequest이며 필수입니다.

schema의 구조

필드, 15가지 자료형과 파티션 키 및 CDC의 전체 구조는 스트림 스키마를 따릅니다.

다음은 스키마와 초기 스트림 구성을 지정하는 요청 본문 예시입니다.

{
  "parentFolderRid": "ri.compass.main.folder.c410f510-2937-420e-8ea3-8c9bcb3c1791",
  "schema": {
    "fields": [
      {
        "name": "timestamp",
        "schema": {
          "nullable": false,
          "dataType": {
            "type": "timestamp"
          }
        }
      },
      {
        "name": "value",
        "schema": {
          "nullable": false,
          "dataType": {
            "type": "string"
          }
        }
      }
    ],
    "keyFieldNames": [
      "timestamp"
    ]
  },
  "partitionsCount": 1,
  "streamType": "LOW_LATENCY",
  "name": "My Dataset",
  "branchName": "master",
  "compressed": false
}

응답

응답 형식은 Dataset입니다.

새로 만든 스트리밍 데이터셋의 응답 예시입니다.

{
  "parentFolderRid": "ri.compass.main.folder.c410f510-2937-420e-8ea3-8c9bcb3c1791",
  "name": "My Dataset",
  "rid": "ri.foundry.main.dataset.c26f11c8-cdb3-4f44-9f5d-9816ea1c82da"
}

개별 오류

요청 예제

FOUNDRY_HOST에는 https://를 제외한 Foundry 호스트를, FOUNDRY_TOKEN에는 유효한 토큰을 환경 변수로 제공합니다. 예시 식별자와 매개변수 값은 실제 작업 대상에 맞게 바꿉니다.

사용자 폴더가 아닌 폴더에 My Dataset과 master 스트림을 만드는 예제입니다. 스키마는 timestamp 키와 문자열 value 열을 사용합니다. 실제 폴더, 이름과 스키마로 바꾸며 실행하면 새 데이터셋이 생성됩니다.

cURL

curl -X POST \
	-H "Content-type: application/json" \
	-H "Authorization: Bearer ${FOUNDRY_TOKEN}" \
	"https://${FOUNDRY_HOST}/api/v2/streams/datasets/create?preview=true" \
	-d '{"parentFolderRid":"ri.compass.main.folder.c410f510-2937-420e-8ea3-8c9bcb3c1791","schema":{"fields":[{"name":"timestamp","schema":{"nullable":false,"dataType":{"type":"timestamp"}}},{"name":"value","schema":{"nullable":false,"dataType":{"type":"string"}}}],"keyFieldNames":["timestamp"]},"partitionsCount":1,"streamType":"LOW_LATENCY","name":"My Dataset","branchName":"master","compressed":false}'

Python

Requests 라이브러리가 설치된 Python 환경에서 사용합니다.

import os
import requests

HOSTNAME = os.environ["FOUNDRY_HOST"]
TOKEN = os.environ["FOUNDRY_TOKEN"]
headers = {
    "content-type": "application/json",
    "authorization": "Bearer {}".format(TOKEN)
}
request_body = {
    "parentFolderRid": "ri.compass.main.folder.c410f510-2937-420e-8ea3-8c9bcb3c1791",
    "schema": {
        "fields": [
            {
                "name": "timestamp",
                "schema": {
                    "nullable": False,
                    "dataType": {
                        "type": "timestamp"
                    }
                }
            },
            {
                "name": "value",
                "schema": {
                    "nullable": False,
                    "dataType": {
                        "type": "string"
                    }
                }
            }
        ],
        "keyFieldNames": [
            "timestamp"
        ]
    },
    "partitionsCount": 1,
    "streamType": "LOW_LATENCY",
    "name": "My Dataset",
    "branchName": "master",
    "compressed": False
}

response = requests.post('https://{}/api/v2/streams/datasets/create?preview=true'.format(HOSTNAME), headers=headers, json=request_body)
print(response)

Java

Apache HttpClient 4.5 API와 try-with-resources를 사용합니다. 클래스 이름에 맞는 CreateStreamingDatasetExample.java 파일에서 사용합니다.

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.entity.ContentType;
import org.apache.http.entity.StringEntity;

public class CreateStreamingDatasetExample {
    public static void main(String[] args) throws Exception {
        String HOSTNAME = System.getenv("FOUNDRY_HOST");
        String TOKEN = System.getenv("FOUNDRY_TOKEN");

        try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) {
            HttpPost request = new HttpPost("https://" + HOSTNAME + "/api/v2/streams/datasets/create?preview=true");
            request.addHeader("content-type", "application/json");
            request.addHeader("authorization", String.format("Bearer %s", TOKEN));
            request.setEntity(new StringEntity("{\"parentFolderRid\":\"ri.compass.main.folder.c410f510-2937-420e-8ea3-8c9bcb3c1791\",\"schema\":{\"fields\":[{\"name\":\"timestamp\",\"schema\":{\"nullable\":false,\"dataType\":{\"type\":\"timestamp\"}}},{\"name\":\"value\",\"schema\":{\"nullable\":false,\"dataType\":{\"type\":\"string\"}}}],\"keyFieldNames\":[\"timestamp\"]},\"partitionsCount\":1,\"streamType\":\"LOW_LATENCY\",\"name\":\"My Dataset\",\"branchName\":\"master\",\"compressed\":false}", ContentType.APPLICATION_JSON));
            try (CloseableHttpResponse response = httpClient.execute(request)) {
                System.out.println(response);
            }
        }
    }
}

JavaScript

fetch를 제공하는 Node.js 환경에서 사용합니다. 서비스 사용자 토큰을 브라우저로 전달하지 않습니다.

const HOSTNAME = process.env.FOUNDRY_HOST;
const TOKEN = process.env.FOUNDRY_TOKEN;

fetch(`https://${HOSTNAME}/api/v2/streams/datasets/create?preview=true`, {
    method: 'POST',
    headers: {
        'Content-Type': 'application/json',
        'Authorization': `Bearer ${TOKEN}`,
    },
    body: '{"parentFolderRid":"ri.compass.main.folder.c410f510-2937-420e-8ea3-8c9bcb3c1791","schema":{"fields":[{"name":"timestamp","schema":{"nullable":false,"dataType":{"type":"timestamp"}}},{"name":"value","schema":{"nullable":false,"dataType":{"type":"string"}}}],"keyFieldNames":["timestamp"]},"partitionsCount":1,"streamType":"LOW_LATENCY","name":"My Dataset","branchName":"master","compressed":false}'
}).then((response) => {
    console.log(response)
});

PowerShell

$ErrorActionPreference = 'Stop'
$TOKEN = $env:FOUNDRY_TOKEN
$HOSTNAME = $env:FOUNDRY_HOST

$headers = @{
    "authorization" = "Bearer $TOKEN"
}

$response = Invoke-WebRequest -Uri "https://$HOSTNAME/api/v2/streams/datasets/create?preview=true" `
	-Method Post `
	-Headers $headers `
	-ContentType application/json `
	-Body "{`"parentFolderRid`":`"ri.compass.main.folder.c410f510-2937-420e-8ea3-8c9bcb3c1791`",`"schema`":{`"fields`":[{`"name`":`"timestamp`",`"schema`":{`"nullable`":false,`"dataType`":{`"type`":`"timestamp`"}}},{`"name`":`"value`",`"schema`":{`"nullable`":false,`"dataType`":{`"type`":`"string`"}}}],`"keyFieldNames`":[`"timestamp`"]},`"partitionsCount`":1,`"streamType`":`"LOW_LATENCY`",`"name`":`"My Dataset`",`"branchName`":`"master`",`"compressed`":false}"

$response.content