Links

AWS S3

Sink AWS S3を使用して、AWS S3にデータを転送することができます。

Sink AWS S3

入力例

name
required
description
json field for import
表示名
任意
タスクの表示名を入力します。
接続情報
必須
接続情報画面で設定した、AWS S3への接続情報を選択します。
integration_name
string
バケット
必須
AWS S3 バケットを指定します。
bucket
string
パス接頭辞
必須
バケットに保存されているオブジェクトのパスを指定します。存在しないフォルダを指定するとフォルダが作成されます。
path_prefix
string
フォーマット
必須
csv, jsonl, tsv, jsonarray, avro, parquet から選択します。
format
string

フォーマットごとの指定可能な圧縮形式

フォーマット
指定可能な圧縮形式
csv, tsv, jsonl, jsonarray
なし(default), snappy, bzip2, gzip, lz4, deflate
avro
なし, snappy(default), bzip2, deflate, xz
parquet
なし, snappy(default), gzip, lzo, lz4, zstd
複数のファイルが生成される場合
Reckoner では、大量のデータを並列に処理するために AWS S3 などファイル出力する sink タスクは複数のファイルを出力する場合があります。ファイルの数も workflow の内容次第にって並列度が変わり増減します。
ファイル数を指定する機能は提供していません。
Last modified 11mo ago