Source HTTP

Source HTTP を利用して、HTTP サーバにリクエストを送信しデータを取得することができます。

Source HTTP

name

required

description

表示名

任意

タスクの表示名を入力します。

URL

必須

送信するHTTPリクエスト先のURLを指定します。

メソッド

必須

送信するHTTPリクエストのメソッドを指定します。

ヘッダー

任意

送信するHTTPリクエストのヘッダーを指定します。

フォーマット

必須

受信したHTTPレスポンスを解釈するフォーマットをしてします。

http_skip_headers

任意

フォーマットでcsv又はtsvを選択した場合に利用可能です。有効化するとHTTPレスポンスの最初の行をスキーマとして解釈しません。

必須

フォーマットでjsonを選択した場合に利用可能です。受信したHTTPレスポンスを解釈するjson pathsを指定します。

最小

必須

ページネーションの最小値を指定します。

最大

必須

ページネーションの最大値を指定します。

Skip

必須

ページネーションのスキップする値を指定します。

ページネーション機能

ページネーションを利用することで、複数のURLからデータを取得することができます。ページネーションを利用する際には url に %s を付与していください。例えば、下記です。

https://example.com/%s

利用しない場合には、最小を最大を等しい値に、Skipを最小と異なる値に指定してください。

JSON Paths 機能

format: jsonを選択した場合には json path を利用して HTTP レスポンスボディをパースできます。パースせずに json をそのまま 1 レコードとして取得する場合には $ を指定してください。

サンプル1

HTTPレスポンスボディが下記の場合

{ "data": "this is a data." }

JSON Paths: data とした時に、取得されるレコードは下記のようになります。

data

this is a data.

サンプル2

HTTPレスポンスボディが下記の場合

[
{
"id": 1,
"name": "Alice"
},
{
"id": 2,
"name": "Bob"
},
{
"id": 3,
"name": "Carol"
}
]

JSON Paths: [*].name とした時に、取得されるレコードは下記のようになります。

[*].name

Alice

Bob

Carol

サンプル3

HTTPレスポンスボディが下記の場合

{
"object": {
"key": "sample key",
"value": "sample value"
}
}

JSON Paths: object とした時に、取得されるレコードは下記のようになります。

object

{ "key": "sample key", "value": "sample value" }