BigQuery
Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Slack と連携した簡易的なチャットボットの PoC を行いました。 生成 AI を社内で運用し、データを内部で管理することで、機密情報の保護ができます。また社員が入力したプロン…
G-gen の杉村です。コネクテッドシートと BigQuery を使い、技術ブログの GA4 アクセス解析をしている事例について、技術的な観点でご紹介します。 はじめに 技術ブログと GA4 データ保持期間と BigQuery コネクテッドシートの利用 エクスポートされた GA4 …
G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方は、まず基本編の記事をご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル…
G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド（サーバー…
G-gen の堂原です。本記事では、Looker Studio において、Google Sheets をソースとする BigQuery 外部テーブルに接続しようとすると発生する Permission denied エラーの対処法を紹介します。 はじめに 事象 : 外部テーブルへの接続でエラー 対処法 サマリ …
G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペ…
G-gen の神谷です。本記事では、Google Cloud のデータ分析系プロダクトのアップデートを取り上げ、変更点やその背景を考察し、プロダクトや機能についての理解を深めます。 新料金体系 BigQuery Editions BigQuery ML における推論での Vision API 等の呼び…
G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドなデータウェアハウスサービスである BigQuery の料金体系である BigQuery Editions について解説します。 概要 BigQuery の課金体系 BigQuery Editions とは 過去の経緯 3つのエディション 概要 …
G-gen 又吉です。今回は Vertex AI Workbench を用いて JupyterLab の開発環境から BigQuery ML を実行し機械学習モデル(クラスタリング)を作成していきたいと思います。 概要 概要 今回使用するデータ K-means 法とは 準備 Vertex AI Workbench の作成 BigQ…
G-gen 又吉です。今回は BigQuery に備わる機械学習機能である BigQuery ML で、2 項ロジスティック回帰を用いた分類モデルを作成してみました。 BigQuery ML とは サポートされているモデル 今回使用するデータ 準備 各種ファイルのアップロード データセッ…
G-gen の神谷です。本記事では、Looker Studio で BigQuery データソースを使う際のコスト最適化について説明します。 はじめに Looker Studio とは 料金体系 料金削減の基本方針 レポートごとの BigQuery コストを調べる Looker Studio レポート側の基本方…
G-gen の神谷です。本記事では、Batch を使って、大容量の CSV ファイルを BigQuery に ETL してみます。 Cloud Functions や Cloud Run といった類似サービスに比べて Batch の使いどころはどこかを検証します。 基本的な情報 Batch とは Batch の利点 ユー…
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する…
G-gen の神谷です。本記事では Google Cloud (旧称 GCP) の BigQuery のコスト削減の方法をまとめます。 はじめに コスト削減の手法 BigQuery の料金体系 どこに料金がかかっているか調べる 調査ポイント 調査方法 テクニック SELECT * を使わず必要なカラム…
G-gen の藤岡です。当記事では、Google Cloud（旧称 GCP）の BigQuery に特定の IP アドレスからのアクセスのみを許可する VPC Service Controls を設定しつつ、Looker Studio には IP アドレスの制限をかけずレポートを閲覧できるようにする方法を紹介しま…
G-gen 又吉です。今回は Eventarcトリガーを利用して、Cloud Storage のファイルメタデータを BigQuery へ格納してみました。 概要 作成するもの Eventarcとは？ Cloud Strage の準備 Cloud Storage トリガーとは Cloud Storage サービス アカウントへの権限…
事象 原因 解説 SQL における BigQuery のテーブル名の指定 バッククォートの要否 対策 対症療法 原則 事象 BigQuery で 標準 SQL を実行しようとした際に以下のエラーが発生した。 エラーメッセージで示された該当箇所は、テーブル名の指定であり、一見して…
G-gen の杉村です。 Google Cloud（旧称 GCP）には Cloud Workflows という簡易的なワークフローツールがあります。今回の記事は Cloud Workflows を使った簡易的なデータパイプラインの構築方法をご紹介します。 はじめに Cloud Workflows とは 関連記事 こ…
こんにちは、又吉です。今回は、 Google Workspace の全エディションにおいて無償で利用可能なコネクテッドシート（Connected Sheets）をご紹介します。 はじめに コネクテッドシートとは 前提条件 料金 アクセス制御 セットアップ 操作方法 概要 グラフ ピ…
G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとし…
BigQuery Data Transfer Serviceを使ってAmazon S3にあるデータを簡単にBigQueryに取り込む方法をご紹介します。
G-genの大津です。 Google Cloud (旧称 GCP) において Amazon S3 にあるデータを BigQuery に取り込む方法のひとつとして、BigQuery Omni があります。 BigQuery Omni を使うと、 Amazon S3 を外部データソースとして、 BigQuery からクエリを実行することが…
G-gen の杉村です。 Google Cloud（旧称 GCP）の BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも、承認済みビューと承認済みデータセットというよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの範…
G-gen の杉村です。当記事は「BigQuery Reservation (Flat-rate pricing)」について説明する記事です。 注意 : BigQuery の料金体系について BigQuery Reservations とは 用語 コミットメント (Commitment) 予約 (Reservation) 割り当て (Assignment) 料金 B…
G-gen の杉村です。 BigQuery の Search Index 機能が 2022年4月7日にプレビュー公開、2022年10月27日に GA されました。BigQuery に対する特定文字列の検索を高速化する当機能を解説します。 BigQuery Search Index の基本 BigQuery Search Index とは ユー…
G-genの杉村です。 BigQueryでは、列レベルのアクセス制御や行レベルのセキュリティといった機能を使い、きめ細かいアクセス制御を行うことができます。 列レベルのアクセス制御 列レベルのアクセス制御 分類とポリシータグ 制限 行レベルのセキュリティ 行…
G-gen の杉村です。 BigQuery の Scheduled Query (スケジュールされたクエリ) で自動実行するクエリの、ジョブ失敗通知を行う方法について解説します。 はじめに 3つの方法 1. メール通知機能 2. Pub/Sub 3. ログベースの指標 ログベースの指標とアラートの…
G-genの杉村です。Google Cloud（旧称 GCP）のフルマネージドのデータウェアハウスである BigQuery には、パフォーマンス向上やコスト削減に当たり、パーティションとクラスタリングという重要な概念があります。それぞれの仕組みや使い分けを解説していきま…
G-genの杉村です。BigQuery への認証・認可は Cloud IAM によって制御されますが、その仕組みは複雑です。当記事では、仕組みを詳細に解説します。 はじめに BigQuery と認証・認可 IAM の基本概念 BigQuery 関連の IAM 権限の理解 ジョブ実行とデータアクセ…
G-gen の杉村です。Google Cloud Next '21 の What's new with BigQuery セッションで発表された新機能を、速報としてご紹介します。 BigQuery はじめに BigQuery Omni (GA) BigQuery Security & Governance for Data Lakes (Coming soon) BigQuery External…
