Links

MySQLデータをBigQueryへの書き込みを週次で行った場合

MySQLに保存されているデータを週次でBigQueryにデータを転送します。またスケジュール設定をして週次で自動更新ができるようにします。

全体図

ワークフロー概要

  1. 1.
    MySQLのSourceを追加
  2. 2.
    転送先にBigQueryを指定して、データを転送
  3. 3.
    スケジュールを設定

事前準備

BigQueryテーブルの作成と使用などを参考にBIgQueryで空テーブルを作成します。 Cloud Storage ストレージ バケットの作成 などを参考にCloud Storage バケットを作成します。
転送先のBigQueryのテーブル、S3からのデータを一時保存するためのCloud Storageのバケットがすでに存在する場合は不要です。

Source詳細

MySQL

次のように設定します。
設定完了後、「プレビュー」をクリックして実行後のプレビューが確認できます。設定に不備がない場合Completedと表示されます。
プレビューで実行結果を確認後、問題なければ「設定」を選択して完了します。
Source「MySQL」の詳しい説明は以下ドキュメントをご確認ください。

Sink詳細

Google BigQuery

Source詳細で作成したMySQLとGoogle BigQueryデータパイプラインで連携します。
MySQLで作成した情報が引き継がれるので次のように設定します
プロジェクトID、テーブル、バケットに事前準備で作成したプロジェクトID、テーブル名、バケット名を入力します。
設定完了後、「プレビュー」をクリックして実行後のプレビューが確認できます。設定に不備がない場合Completedと表示されます。
プレビューで実行結果を確認後、問題なければ「設定」を選択して完了します。
Sink「Google BigQuery」の詳しい説明は以下ドキュメントをご確認ください。

ワークフローの実行

「名前」と「説明」を入力して「保存」を選択。
「実行」を選択します。
ジョブが問題なく完了すると「成功」となります。

BigQuery上で確認

下記のようにBigQuery上のtableにMySQLのデータが登録されていることが確認できれば完了です。

スケジュールの設定

ワークフローを手動で実行することなく、スケジュールを設定することで定期実行することができます。
時計のアイコンをクリックします。
週次で実行したいスケジュールを選択、入力して設定をクリックします。
  • スケジュール : ON
  • ベーシック/カスタム : ベーシック
  • タイムゾーン : Asia/Tokyo
  • 実行単位 : カスタム
  • 実行単位 : 週
  • 曜日 : 水曜
  • 開始時間 : 18:00
東京時間で毎週水曜日の18:00にワークフローを実行します。
ワークフローを定期的に実行させる詳しい説明は以下ドキュメントをご確認ください。