BigQuery

BigQuery Conversational AnalyticsとGoogle検索グラウンディングを組み合わせる方法

G-gen の佐藤です。BigQuery の Conversational Analytics(対話型分析)において、データセットやモデルが知識として持っていない最新情報を取り入れるために Google 検索グラウンディングを組み合わせる方法を紹介します。 はじめに 当記事について 前提知…

Lookerのスケジュール配信で最新データが反映されない問題の対処方法

G-gen の菊池です。当記事では、 Looker のスケジュール配信機能で配信されたデータが古いままになっており、バッチ更新された最新のデータが反映されない問題の解決方法を解説します。 事象 原因 対処法 概要 手順1. データグループの定義 手順2. Explore …

Google OR-Toolsで生産計画を作成してみた

G-gen の河野です。当記事では、Google が開発した最適化問題を解くためのオープンソースライブラリ「OR-Tools」を使用して、製品の生産計画を作成します。 OR-Tools とは 仕様 解きたい最適化問題の定義 ソルバーの決定 最適化問題を解く API 版との比較 検…

Google SecOpsのPlaybooksでアラート対応を自動化する(BigQuery編)

G-gen の武井です。当記事では、Google SecOps で検知したアラートの是正対応を Playbooks で自動化する方法を解説します。 はじめに Google SecOps とは Playbooks(ハンドブック)とは 検証の流れ Cloud Audit Logs の取り込み 検知ルールの確認 インテグ…

S3バケットをBigQueryからクエリするための2つの機能(BigQuery cross-cloud connectionsとBigQuery Omniの違い)

G-gen の杉村です。当記事では、BigQuery cross-cloud connections と BigQuery Omni の違いについて解説します。いずれも Google Cloud のデータ分析用データベースである BigQuery と、Amazon S3 や Azure Blob Storage を接続するための仕組みです。 概要…

CDPだけで顧客理解は不十分?Google Cloudと生活者データで実現する”Why 分析”最前線(Google Cloud Next Tokyo 26セッションレポート)

G-gen の奥田です。当記事は、Google Cloud Next 26 Tokyo の1日目に行われたカスタマーセッション「CDP だけで顧客理解は不十分?Google Cloud と生活者データで実現する「Why 分析」最前線」のレポートです。 他の Google Cloud Next Tokyo 26 の関連記事…

BigQuery Conversational Analyticsの回答精度向上を徹底解説

G-gen の福井です。自然言語でデータを分析できる BigQuery Conversational Analytics について、回答精度を高める手段を徹底解説します。 はじめに 当記事の概要 BigQuery Conversational Analytics とは データエージェントと回答精度 回答精度向上の考え…

BigQueryのスケジュールドクエリを解説

G-gen の本間です。BigQuery の自動化機能であるスケジュールドクエリ(Scheduled queries)を解説します。 概要 スケジュールドクエリとは ユースケース 料金 主な機能と特徴 スケジュール設定 クエリ結果の書き込み 書き込み方式の概要 DML を使用した書き…

What’s new with Databases(Google Cloud Next '26速報)

G-gen の佐々木です。当記事では、Google Cloud Next '26 で発表された Google Cloud のデータベースに関する新機能について、公式の投稿記事「What’s new with Databases: Powering the agentic future」の内容をもとに紹介します。 はじめに Embed AI into…

What’s new in BigQuery(Google Cloud Next '26速報)

G-gen の佐々木です。当記事では、Google Cloud Next '26 で発表された BigQuery に関する新機能について、公式の投稿記事「What’s new in BigQuery: Powering the Agentic Era」の内容をもとに紹介します。 はじめに Open, cross-cloud lakehouse Managed I…

外部テーブルとBigLake外部テーブルを比較してみた

G-gen の佐藤です。当記事では、BigQuery から外部ストレージを参照する2つの構成、従来の外部テーブルと BigLake テーブルの違いを検証した結果を紹介します。 はじめに BigLake とは 検証方法 検証環境の構築 Cloud Storage 外部テーブルと BigLake テーブ…

BigQuery Agent Analyticsを使用してADKで実装したエージェントの対話データを記録する

G-gen の佐々木です。当記事では、ADK で開発した AI エージェントに BigQuery Agent Analytics のプラグインを組み込むことで、エージェントのリクエストやレスポンス、ツール呼び出しなどのイベントを BigQuery に記録し、SQL で分析できるようにしていき…

データポータルでBigQueryにサービスアカウントで認証できない時のチェックリスト

G-gen の min です。データポータル(英名 Data Studio、旧称 Looker Studio)の BigQuery データソース接続において、個人の Google アカウントではなくサービスアカウントの認証情報を使用する際、権限エラーや接続エラーが発生することがあります。当記事…

BigQueryのデータ分析情報(Data insights)を解説

G-gen の min です。BigQuery でデータ分析情報を生成する機能データ分析情報(Data insights)について解説します。 データ分析情報とは 概要 2つの分析レベル 分析情報を生成するモード 事前準備 必要な API の有効化 必要な IAM ロール テーブル分析情報 …

BigQueryにおけるクエリ管理手法の解説

G-gen の菊池です。BigQuery においてクエリを保存・管理するための3つの手法(保存済みクエリ、スケジュールされたクエリ、BigQuery パイプライン)と、それぞれの特徴や確認方法について解説します。 はじめに 保存済みクエリ 概要 設定方法 保存場所 特徴…

BigQueryのデータマスキング機能を解説

G-gen のminです。BigQuery のデータマスキング機能を解説します。データマスキングを使うと、機密情報をマスキングして特定できない形でクエリ結果に表示させることができ、分析を阻害せずにデータを保護することができます。 データマスキングとは 概要 列…

LookerでBigQueryに接続してLookML作成から可視化までを行う手順を解説

G-gen の菊池です。当記事では、Looker で BigQuery のデータを可視化するための一連のフローを、スクリーンショット付きで解説します。BigQuery との接続から、LookML の自動生成と調整、Explore での可視化などを説明します。 はじめに 当記事について Loo…

BigQueryのConversational Analytics(対話型分析)を徹底解説

G-gen の杉村です。BigQuery には Conversational Analytics(対話型分析)機能が備わっており、データに関する質問を生成 AI に対してチャット形式で投げかけることができます。この機能を使うことで、SQL の知識がなくても、自然言語でデータをクエリする…

BigQueryデータキャンバスを使いこなすためのプロンプトエンジニアリング

G-gen の min です。BigQuery に統合された AI アシスタント機能である BigQuery データキャンバス について、より実践的な活用方法と、技術的な制約事項について解説します。 はじめに BigQuery データキャンバスとは Conversational Analytics API とは 効…

Google Cloudのデータサイエンスエージェントを解説

G-gen の佐々木です。当記事では、Google Cloud が提供するデータサイエンスエージェント(Data Science Agent)について解説します。データサイエンスエージェントは、Colab Enterprise ノートブック上で、AI エージェントがデータクレンジングや分析などの…

Looker Studioで表示データを閲覧ユーザに応じて制御する方法

G-gen の齊間です。Looker Studio で作成したレポートにおいて、閲覧ユーザーに応じて表示するデータを制御したい(出し分けたい)場合があります。当記事では、そのための主要な3つの方法と、それぞれの設定手順や注意点を解説します。 概要 手法1. メール…

Dataformのアサーション機能を解説

G-gen の min です。Google Cloud のデータ変換パイプラインツールである Dataform で、データ品質テストを実装するためのアサーション(assertion)機能について解説します。 概要 Dataform とは アサーションとは アサーションの種類 組み込みアサーション…

BigQuery remote MCP serverを使ってみた

G-gen の杉村です。BigQuery に対して自然言語で問い合わせする方法の1つである、BigQuery remote MCP server を、Gemini CLI を使って検証してみた結果を紹介します。 はじめに BigQuery remote MCP server とは 料金に関する注意点 準備作業 単一テーブル…

BigQueryに自然言語でクエリする10個の方法

G-genの杉村です。当記事では、BigQuery に対して自然言語によってデータの抽出や分析を行うための方法を10個紹介します。BigQuery の Conversational Analytics、Gemini Enterprise の Data Insights エージェント、MCP サーバーの利用など、現在ではさまざ…

BigQueryの自動エンベディング生成を使ってみた

G-gen の杉村です。BigQuery の自動エンベディング生成機能の概要と、簡単な検証結果を紹介します。自動エンベディング生成を使うと、テーブルの特定列のデータが挿入されたり更新されたりしたときに、自動的にエンベディングが生成され、セマンティック検索…

ライオンのデータマネジメント

当記事は、ライオン株式会社様と株式会社G-genの技術情報発信コラボレーション企画『SAPと連携するデータ分析基盤の実践とTips』で執筆されたものです。 はじめに 当企画について 自己紹介 当記事について 概要 データマネジメントのプロセス アジリティ、ガ…

ライオンのデータ基盤構築とSAPデータ活用体制

当記事は、ライオン株式会社様と株式会社G-genの技術情報発信コラボレーション企画『SAPと連携するデータ分析基盤の実践とTips』で執筆されたものです。 はじめに 概要 データ基盤整備の必要性 「収益力の強靭化」から見据える未来経営とデジタル改革 データ…

ADKとBigQueryで作るAIエージェントの安全な設計

G-gen の min です。Agent Development Kit(ADK)と BigQuery を組み合わせた AI エージェントにおけるリスクを管理し、安全に運用するための設計アプローチを説明します。 はじめに ADK と BigQuery AI エージェントに潜むリスク 多層防御 対策1. ツールセ…

Dataformのテーブル定義と組み込み関数の使い方

G-gen の min です。データ変換パイプラインツールである Dataform における、SQLXファイルにおけるテーブル定義と、その中で使用される組み込み関数について解説します。 Dataform と SQLX テーブル定義の基本 主要な組み込み関数 組み込み関数の解説 ref()…

オブジェクトテーブル経由でデータポータルに画像を表示する際にクォータ超過

G-gen の min です。データポータル(英名 Data Studio、旧称 Looker Studio)で Cloud Storage 上の非公開画像を扱う際に、BigQuery の EXTERNAL_OBJECT_TRANSFORM 関数を利用して署名付き URL を生成する方法があります。本記事ではその具体的な手順と、複…

BigQueryのINFORMATION_SCHEMA向けサンプルクエリ集

G-genの min です。本記事では、BigQuery の INFORMATION_SCHEMA に対するクエリ例を紹介します。コスト管理、開発の効率化、運用のために活用してください。 仕様 INFORMATION_SCHEMA とは 料金 必要な権限 制約事項 注意点 コスト・リソース管理 高額クエ…

CSVアップロードだけで更新できるデータポータルレポートの作り方

G-gen の西田です。Cloud Storage にアップロードした CSV ファイルをデータソースとして、自動で更新されるデータポータル(英名 Data Studio、旧称 Looker Studio)レポートを作成する手順を解説します。 はじめに 当記事の概要 構成図 サンプルデータの内…

Dataformライフサイクルの管理方法(環境分離と自動化)

G-gen の min です。BigQuery のためのデータ変換ワークフローサービスである Dataform における、「ワークスペースコンパイルオーバーライド」「リリース構成」「ワークフロー構成」という3つの機能について解説します。 はじめに 当記事について Dataform …

Gemini in BigQueryを徹底解説!

G-genの杉村です。BigQuery に組み込まれた AI アシスタント機能である Gemini in BigQuery を解説します。当機能では、SQL の自動生成やデータ変換、メタデータの自動生成など、データ分析の様々なタスクを効率化することができます。 はじめに Gemini in B…

自然言語での質問を基にBigQueryにクエリするエージェントをADKで開発

G-gen の杉村です。人間からの自然言語での質問に基づいて BigQuery にクエリを実行する AI エージェントを、Agent Development Kit(ADK)で開発する方法を紹介します。 概要 Agent Development Kit(ADK)とは BigQuery ツールセット 実装 ソースコード エ…

BigQueryでSQLをアップロードするメニューがグレーアウト

G-genの山田です。BigQueryの保存済みクエリ機能を使うと、クエリエディタで記述した SQL を保存して他のユーザーと共有することができます。SQL をプロジェクトにアップロードしようとした際に [プロジェクトにアップロードする] > [SQL クエリ] のメニュー…

BigQueryのメタデータ自動生成を解説

G-genの杉村です。BigQuery テーブルのデータをスキャンして、AI がテーブルのメタデータ(テーブルとカラムの説明)を自動生成するメタデータ自動生成機能を解説します。 はじめに メタデータの自動生成 テーブルのメタデータとは 仕様 分析情報からのメタ…

メダリオンアーキテクチャ2.0とGoogle CloudのAIエージェント活用

G-genの杉村です。当記事では、AI エージェント時代に対応する次世代データ基盤アーキテクチャとして「メダリオンアーキテクチャ 2.0」と、その中核をなす「プラチナレイヤー」をGoogle Cloudで実現する方法を解説します。 はじめに 概要 メダリオンアーキテ…

データポータルとBigQuery連携で予想外のコスト増加の原因となる2つの挙動

G-gen の min です。データポータル(英名 Data Studio、旧称 Looker Studio)から BigQuery をデータソースとして利用する際、意図しない挙動により BigQuery の利用料金が高額になるケースがあります。本記事では、特に CURRENT_DATE() のような非決定性関…

異なるリージョンのBigQuery MLリモートモデルでデータを処理するパイプラインを実装してみた

G-gen の堂原です。本記事では Google Cloud(旧称 GCP)の BigQuery において、データセットとリモートモデルが異なるリージョンに存在する場合の、AI データ処理パイプラインを紹介します。 はじめに 本記事の趣旨 ML.GENERATE_TEXT 関数と Gemini 2.0 の…

BigQueryからCloud StorageのCSVを読み込む際に日付列がUnable to parse

G-gen の杉村です。BigQuery では、Cloud Storage 上の CSV 形式や JSON 形式のファイルをテーブルに読み込ん(ロード)だり、外部テーブル定義によって直接クエリすることができます。日付を含むファイルをロードしたりクエリしようとした際に発生したエラ…

BigQuery Data Transfer Serviceでイベントドリブンにデータを取り込む方法

G-genの福井です。BigQuery Data Transfer Service のイベントドリブン機能の設定手順を紹介します。 イベントドリブン転送の概要 BigQuery Data Transfer Service とは ユースケース アーキテクチャ 制限事項 料金 事前準備 API の有効化 サービスアカウン…

BigQueryのスケジュールされたクエリでAccess Denied

G-gen の杉村です。BigQuery のスケジュールされたクエリ(Scheduled queries)機能で定期的にパブリックデータセットからデータを転送しようとしたところ、Access Denied が表示されてしまいました。原因と対処法を紹介します。 事象 原因 対処 事象 BigQue…

BigQueryの新発表を解説(Google Cloud Next '25速報)

G-gen の杉村です。当記事では、Google Cloud Next '25 で発表された BigQuery の新機能について紹介します。 概要 BigQuery と AI の統合 全体像 BigQuery data preparation データセットレベルのインサイト(BigQuery データキャンバス) BigQuery pipelin…

Dataplexによる権限管理の仕組みを徹底解説

G-gen の杉村です。Google Cloud の Dataplex を活用することで、BigQuery や Cloud Storage などで構成された データ分析基盤の権限管理を抽象化して、簡素に運用することができます。当記事では、Dataplex による権限管理の仕組みを、図を交えて解説します…

BigQueryリポジトリを解説

G-gen の武井です。当記事では、BigQuery と Git リポジトリを連携する機能である BigQuery リポジトリを解説します。 はじめに 機能説明 リポジトリ リポジトリの利用形態 取り扱い可能なファイル バージョン管理 IAM ロール 料金 検証1(セットアップ) セ…

BigQueryでSpanner外部データセットを使用する

G-gen の佐々木です。当記事では、BigQuery の外部データセットとして Spanner データベース内のテーブルを参照する方法を解説します。 前提知識 BigQuery Spanner BigQuery と Spanner の連携 2つの連携方法 連携クエリとは 外部データセットとは 連携クエ…

BigQueryの外部テーブルでスプレッドシートのデータをクエリする

G-gen の杉村です。BigQuery の外部テーブル(external tables)機能で Google スプレッドシートのデータを BigQuery からクエリする方法について紹介します。 外部テーブルとは スプレッドシート サンプルシートの準備 共有リンクの取得 外部テーブルの定義…

データポータルでBigQueryの200万行を超えるデータを可視化しようとしたら困った話

G-gen の min です。先日、データポータル(英名 Data Studio、旧称 Looker Studio)を使い、Google Cloud(旧称 GCP)の BigQuery のデータ可視化を試みた際に困ったことがありました。今回は、発生した問題と解決方法を記載します。同じ課題に直面した方の…

BigQuery Data Transfer ServiceでPostgreSQLのデータを転送してみた

G-gen の杉村です。BigQuery Data Transfer Service で Cloud SQL にホストされた PostgreSQL のデータを転送する検証を行いましたので、共有します。 はじめに BigQuery Data Transfer Service とは 当記事について 環境のセットアップ Cloud SQL インスタ…