G-gen の min です。先日、Looker Studio を使い、Google Cloud（旧称 GCP）の BigQuery のデータ可視化を試みた際に困ったことがありました。今回は、発生した問題と解決方法を記載します。同じ課題に直面した方の参考になれば幸いです。

やりたかったこと

Looker Studio では、複数のデータを結合して1つのデータセットとして扱うことができます。

また Looker Studio では、グラフから CSV 形式などでデータをエクスポートできます。

今回は、Google Analytics 4（GA4）のデータと BigQuery のデータを Looker Studio で結合し、可視化する必要がありました。最終的に、可視化したデータを CSV 形式でエクスポートすることを考えていました。

具体的な手順は以下のとおりです。

発生した問題

手順5で、以下の警告メッセージが表示されました。

このグラフには切り捨てられたデータが含まれているため、エクスポートされたデータは完全なものではありません。

エクスポートボタンを押すと、ダウンロードが実行されましたが、ダウンロードされたデータは7万5千行のみでした。しかしエクスポートしようとした表には、実際には約30万行が記録されています。

まず、警告メッセージとダウンロード行数に関連があるか調査しました。Looker Studio の公式ドキュメントを確認したところ、以下の記述がありました。

1 つのグラフからエクスポートできるデータは、750,000 行が上限となります。

この情報から、警告メッセージとダウンロード行数は関連がなく、別の問題であることがわかりました。

次に、BigQuery コネクタに関する記述を見つけました。

BigQuery コネクタを使用して返すことができる最大行数は 200 万行です。Looker Studio では、200 万行を超えるデータがある場合は表示されますが、行数は明示されません。

BigQuery のデータ可視化には、200万行の制限があることがわかりました。

制限を回避するために、「やりたかったこと」の手順3で、結合前にデータソース B を200万行以下になるように絞り込みました。その結果、警告メッセージは表示されなくなりました。

公式ドキュメントの「行数は明示されません」という記述が気になったため、BigQuery 単体で表形式のグラフを作成し、行数が200万行を超えた場合の挙動を確認しました。

表形グラフでは、行数の最大が「2,000,000+」と表示されました。200万行を超える行へのページ送りはできませんでした。

次に、スコアカードを使用して同様のデータを表示したところ、正確な集計値が表示されました。

これは、スコアカードが集計結果のみを取得するため、行数制限の影響を受けなかったと考えられます。実行されたクエリを確認したところ、以下でした。

SELECT
  COUNT(1) AS t0_qt_kpwfrzt8pd
FROM
  `m-sasaki.sample_dataset.sample_data` AS t0
LIMIT
  2000001;

なお、Looker Studio から BigQuery に発行されるクエリは、以下の手順で確認できます。

解決策は、データソースの結合前に、BigQuery から取得するデータを200万行以下にすることです。例えば、特定の条件でデータを絞り込みたい場合、Looker Studio のデータの統合画面でフィルタを適用できます。このフィルタリングは、データ結合の前に実行されます。