G-genのすずたつです。
当記事では、Google Workspaceの利用ログを集計するためにBigQuery Exportを利用しようとしたところハマってしまった件について解説いたします。

Google WorkspaceのBigQuery Exportとは

まずはGoogle WorkspaceにおけるBigQuery Exportはどのような機能なのでしょうか？

こちらは、一言でいうとGoogle Workspaceの日々のログデータをすべてGoogle CloudのBigQuery にExportし、可視化、分析できるような連携のための機能になります。利用用途としては以下のように解説記事がありますので、ぜひ参考にしてみてください。

japan.zdnet.com

Google Workspaceを利用中の社員がどのような働き方を実施しているのか。を可視化するためには便利な機能であると考えます。例えばいまの時期ですと、社員がどのくらいMeetを利用しているか。や、どこから働いているのか。など、ログ情報をもとにそういった情報を集計、分析することが可能となります。

さて今回、せっかくなのでG-genでも実施してみよう。ということで、実際に本機能を利用してみようとしたところハマってしまった。という点に関して、簡単に説明していきたいと想います。

Google WorkspaceのBigQuery Exportの設定方法

まずは簡単に設定方法に関して説明いたします。BigQuery Exportの設定に関してはいたってシンプルです。

(1)Google Cloud BigQueryに入れ物となるデータセットを用意する。
(2)Google Workspaceの管理者設定において、上記(1)で作成したデータセットに対してExportを有効化する。

この2点になります。至ってシンプルですね。いまのところ、どこにもハマる要素はないですね。

データセット作成

詳細の説明は省きますが、まずはGoogle CloudのBigQueryの画面にてデータセットを作成いたします。

以下のような形で作成が完了しております。

f:id:ggen-suzutatsu:20220313213402p:plain — データセットの作成

BigQuery Export有効化

こちらも実際の設定はものすごくシンプルで、管理者ユーザーでログイン後の画面にて
「レポート＞BigQuery Export」にて、BigQueryのプロジェクトIDおよびデータセットの名前を指定して終了。

f:id:ggen-suzutatsu:20220313215808p:plain — Google Workspace 管理者設定画面

これでGoogleからの正式回答によると、以下とのことなので数日待てば確実にExportされていることでしょう。

一般的なご案内としまして管理コンソール上での設定が反映されるまで最大 24 時間かかる場合がございます。また、データが生成されるのは太平洋時間の日時となることから、エクスポートにお時間がかかっていた可能性がございます。

Exportされない

片手間に検証してしまっていた。というのもあるのですが、待てども待てどもExportされない。ログがみれない。という状況になってしまいました。ということで一旦Googleのサポートに問い合わせを実施。様々なやりとりの結果・・・(事項に続く)

Exportがされない理由と対応方法

いくつかのやりとりの結果、以下のGoogle CloudのBigQueryにおいてデータセットを”asia-northeast1”に指定してしまっていることが原因だということがわかりました。

f:id:ggen-suzutatsu:20220313214753p:plain — データセットのロケーション

日本人だとやりがちな気がしますが、正式回答としてはロケーションを EU、US といった、マルチリージョンを指定いただく必要があるということのようで、どおりで待っても待ってもExportされない。。。という状況だったようです。いくつかGoogleサポートより有益なURLをいただきましたので共有いたします。 ※とはいえEU、USという記載はどこにも無い気がしますが。。。

バケットの移動と名前変更 | Cloud Storage | Google Cloud https://cloud.google.com/storage/docs/moving-buckets

データの保存場所であるリージョンにつきましては、下記ページをご参考いただけます。

バケットの保存場所 | Cloud Storage | Google Cloud https://cloud.google.com/storage/docs/locations#available-locations

なお、本件の BigQuery Export に関してご参考いただけるヘルプ記事は下記となります。 BigQuery プロジェクトをログレポート用に設定する - Google Workspace 管理者ヘルプ https://support.google.com/a/answer/9082756?hl=ja

サービスログの BigQuery への書き出しを設定する - Google Workspace 管理者ヘルプ https://support.google.com/a/answer/9079365?hl=ja

BigQuery側のデータセットを作成し直したところ以下のように正しくExportされ、これでようやく分析可能となりました。