Google BigQuery Serviceコネクター
はじめに
Google BigQueryは、大量の読み取り専用データセットを処理するクラウドベースのビッグデータ解析ウェブサービスです。DomoのGoogle BigQuery Serviceコネクターを使用すると、指定したプロジェクトからデータを取得することができます。BigQueryのクエリは、標準のSQL SELECTステートメントのバリエーションを使って記述されています。BigQuery APIの詳細については、ウェブサイト（https://cloud.google.com/bigquery/docs/reference/v2/）を参照してください。
Google BigQuery Serviceコネクターは「クラウドアプリ」であるため、クラウドに保管されたデータを取得できます。Data Centerでウィンドウ上部のツールバーで [クラウドアプリ] をクリックすると、これを含む他のクラウドアプリコネクターのページにアクセスできます。
このトピックでは、Google BigQuery Serviceコネクターユーザーインターフェースに固有のフィールドとメニューについて説明します。DataSetの追加、更新スケジュールの設定およびDataSet情報の編集に関する一般的な情報は、「データコネクターを使用してDataSetを追加する」を参照してください。
|
主な使用事例 |
Google BigQueryからのデータの抽出が必要になる状況。 |
|
主なメトリクス |
DFPデータ |
|
社内における主な権限 |
|
|
平均導入時間 |
記述しなければならないクエリの数によって異なります。BigQueryデータベース構造を理解し、クエリの作成方法を知っている人物がいると、デプロイメント時間が大幅に短縮されます。 |
|
使いやすさ（1～10の段階。1が「最も使いやすい」） |
5 |
ベストプラクティス
-
Domoに取得する前にデータを事前集計するようにクエリ構造を最適化しておくと、パフォーマンスが大幅に向上します。
-
取り込む前に視覚化できるようにデータを厳密に構造化しておけば、DomoのETLプロセスが不要になる場合があり、時間を節約できます。
必要条件
BigQueryサービスアカウントに接続するには、Google BigQueryサービスアカウントのJSONキーが必要です。キーを生成するには、次の手順を実行します。
-
GCP Consoleで、[IAMと管理] ページを開きます。
-
左側のナビゲーションペインで [サービス アカウント] をクリックします。
-
プロジェクトを選択して [開く] をクリックします。
-
[サービスアカウントを作成] をクリックします。
-
サービスアカウントの名前と詳細を入力します。
-
[作成] をクリックします。
-
[プロジェクト所有者] を選択します。
-
[次に進む] をクリックします。
-
[キーを作成] をクリックします。
-
キーのタイプに [JSON] を選択します。
-
[作成] をクリックします。
秘密キーがコンピューターに保存されます。
BigQuery Serviceアカウントに接続する
このセクションでは、Google BigQuery Serviceコネクターページの [認証情報] ペインと [詳細] ペインのオプションについて説明します。このページの他のペインの項目である [スケジュール設定] や [DataSetに名前を付けて説明を入力] に関しては、ほとんどのタイプのコネクターで共通しています。詳細については「データコネクターを使用してDataSetを追加する」を参照してください。
認証情報ペイン
このペインには、BigQueryサービスアカウントにアクセスするための認証情報を入力するフィールドがあります。下表は、各フィールドに必要な内容を説明しています。
|
フィールド |
説明 |
|---|---|
|
サービスアカウントJSONキー |
BigQueryサービスアカウントキーのJSONをコピーして貼り付けます。キーを作成する方法については、上述の「必要条件」を参照してください。 |
有効なキーを一度入力しておくと、随時同じアカウントを使用して新しいGoogle BigQuery Service DataSetを作成できます。コネクターのアカウントはData Centerの [アカウント] タブで管理できます。このタブの詳細については、「コネクターのユーザーアカウントを管理する」を参照してください。
詳細ペイン
このペインには、レポートの設定に使用できるいくつかのフィールドとメニューがあります。
|
メニュー |
説明 |
||||||
|---|---|---|---|---|---|---|---|
|
レポート |
実行するBigQueryレポートタイプを選択します。以下のレポートが利用できます。
|
||||||
|
SQLダイアレクト |
クエリの記述にLegacySQLを使用するか、StandardSQLを使用するかを選択します。 |
||||||
|
クエリ |
適切に記述されたBigQueryクエリを入力します。使用するクエリ言語は、[SQLダイアレクト] メニューで選択したものと同じものである必要があります。 BigQueryクエリの記述に関する詳しい文書については、ウェブサイト（https://cloud.google.com/bigquery/query-reference）を参照してください。クエリプレフィックスの設定についての詳細は、ウェブサイト（ https://cloud.google.com/bigquery/docs/reference/standard-sql/enabling-standard-sql）を参照してください。 |
||||||
|
大きい結果を許可 |
このクエリで取得されるDataSetが大きくなることが想定されるかどうかを選択します。[はい] を選択すると、一時的な表が作成され、ジョブの終了後に削除されます。作成する表の [DataSet ID] フィールドにDataSet IDを入力する必要があります。 |
||||||
|
DataSet名 |
Domoに取り込むDataSetの名前を選択します。 |
||||||
|
テーブルの名前 |
データの取得元になる表を選択します。 |
||||||
|
処理している場所 |
クエリを実行する場所を入力します。特定の場所で実行されるクエリは、その場所のデータのみを参照できます。 |
||||||
|
最大の結果 |
レポートで返す結果の最大数を入力します。デフォルトは1ページあたり10,000件です。DataSetが「メモリー不足です」エラーをスローする場合は、この数を減らします。 |
その他のペイン
スケジュール設定、再試行、オプションの更新など、このページにないセクションに記載のコネクターインターフェースにつきましては、「データコネクターを使用してDataSetを追加する」をご覧ください。
トラブルシューティング
-
認証情報に、表のクエリに必要なアクセス権があることを確認してください。
-
クエリが正しく記述されており、適切に指定したデータソースを呼び出していることを確認してください。
よくある質問
ページサイズはどのようにして決まりますか？
コネクターの [詳細] セクションで設定される [最大の結果] パラメーターは、結果のページごとに返されるデータの最大行数です。[最大の結果] を1,000などの小さい値に設定し、結果を改ページすると、クエリ結果セットが大きい場合の信頼性が向上することがあります。
Domoの [最大の結果] 行制限以外にも、Googleにも結果のページごとに10 MBのバイト制限があります。行の値に大量のデータが含まれる場合、バイト制限を超過しないよう、返されるページあたりの行数が少なくなる場合があります。
特定のロケーションにあるデータを処理するにはどうすればよいですか？
DataSetを作成するときに、BigQueryデータを保存するためのクエリレポートで処理を実行するロケーションを指定できます。DataSetを作成した後は、ロケーションを変更できません。特定の場所で実行されるクエリは、そのロケーションのデータのみを参照できます。場所には、リージョンのロケーションとマルチリージョンのロケーションの2種類があります。詳細については、「データセットのロケーション」を参照してください。
DataSetから「大き過ぎて実行できません」のエラーが返されます。クエリで大きな結果を取得するにはどうすればよいですか？
クエリで大きな結果が予想される場合は、コネクターインターフェースの [詳細] セクションに移動し、[大きい結果を許可] で [はい] を選択し、[DataSet名] メニューでDataSetを選択します。[大きい結果を許可] を [はい] に設定するには、Googleアカウントで表作成の権限を有効にする必要があります。
データ更新の頻度はどのくらいですか？
必要に応じて。
注意すべきAPI制限はありますか？
いいえ
同一のGoogle BigQueryアカウントを複数のDataSetに使えますか？
はい