AWS S3
Sink AWS S3を使用して、AWS S3にデータを転送することができます。
name | required | description | json field for import | |
表示名 | 任意 | タスクの表示名を入力します。 | | |
接続情報 | 必須 | 接続情報画面で設定した、AWS S3への接続情報を選択します。 | integration_name | string |
バケット | 必須 | AWS S3 バケットを指定します。 | bucket | string |
パス接頭辞 | 必須 | バケットに保存されているオブジェクトのパスを指定します。存在しないフォルダを指定するとフォルダが作成されます。 | path_prefix | string |
フォーマット | 必須 | csv, jsonl, tsv, jsonarray, avro, parquet から選択します。 | format | string |
フォーマ ット | 指定可能な圧縮形式 |
csv, tsv, jsonl, jsonarray | なし(default), snappy, bzip2, gzip, lz4, deflate |
avro | なし, snappy(default), bzip2, deflate, xz |
parquet | なし, snappy(default), gzip, lzo, lz4, zstd |
複数のファイルが生成される場合
Reckoner では、大量のデータを並列に処理するために AWS S3 などファイル出力する sink タスクは複数のファイルを出力する場合があります。ファイルの数も workflow の内容次第にって並列度が変わり増減します。
ファイル数を指定する機能は提供していません。
Last modified 11mo ago