Quick Start

このクイックスタートでは、Reckoner アプリケーションを使用してMySQLのデータをBigQueryに転送するワークフローの手順を紹介していきます。

以下の手順に沿ってデータワークフローを作成します。

  • インテグレーションの作成

  • ワークフローの作成

  • ワークフローのデプロイ

  • ワークフローの実行

  • ワークフローの実行状況確認

  • ワークフローのログ確認

インテグレーション

インポート用のMySQLインテグレーションの作成

エクスポート用のBigQueryインテグレーションの作成

ワークフローの作成

新規でワークフローを作成します。

ワークフローの作成

ワークフロー名およびワークフローの説明を入力します。

インポート用のMySQLタスクを設定

SourceカテゴリからMySQLをドラッグ&ドロップします。

MySQLのタスク

フィールド名を変換

ここではTransform機能を使ってフィールド名を変化する加工処理を実現します。

TransformカテゴリからProjectionタスクをドラッグ&ドロップし、MySQLタスクからDependencyをセットします。

エクスポート用のBigQueryタスクを設定

SinkカテゴリからBigQueryをドラッグ&ドロップします。

ProjectionタスクからDependencyをセットします。

ワークフローのデプロイ

ワークフローが完成したら、デプロイを実行します。

ワークフローのデプロイ

ワークフローの実行

RUNボタンからワークフローを実行します。

ワークフローの実行開始までおよそ1~5分程度かかります。

ワークフローの実行状況確認

ワークフローのJOBS画面から最新のJOBの実行状況を確認します。

ジョブ一覧

STATUSでワークフローの実行ステータスおよび実行結果を確認することができます。

RUNABLE:起動中 RUNNING:実行中 COMPLETED:成功 FAILED:失敗

ワークフローのログ確認

実行したジョブ画面からLOG画面を確認します。

ログ画面