Google Cloud

BigQueryのPipe syntax(パイプ構文)を使ってみた

G-gen の山崎です。2024年10月に利用可能になった、BigQuery の Pipe syntax(パイプ構文)の概要と使い方を紹介します。 概要 はじめに パイプ構文とは 従来 SQL の課題 データ処理の順番と記述の順番が一致していない サブクエリによるコードのネスト化 冗…

GoogleマネージドSSL/TLS証明書でWebサーバーを構築してみた

G-gen の山崎です。 当記事では Google マネージド SSL/TLS 証明書、ロードバランサ、Compute Engine 上の Apache HTTP Server という構成のシステムを構築したので、その手順を解説します。 システム構成 前提知識 Web サーバの構築 VM インスタンスの作成 …

Compute Engineのスナップショット、マシンイメージ、カスタムイメージの違い

G-gen の杉村です。Google Cloud の仮想サーバーサービスである Compute Engine には、スナップショット、マシンイメージ、カスタムイメージというよく似た3つの機能があります。それらの違いと、ユースケースをご説明します。 はじめに マシンの状態を保存…

2024年9月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年9月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Cloud Run の Deterministic URL が Preview → GA BigQuery の VECTOR_SEARCH() と vector ind…

Cloud Asset Inventoryを徹底解説!

G-genの杉村です。Google Cloud(旧称 GCP)のリソースインベントリサービスである Cloud Asset Inventory を解説します。 Cloud Asset Inventory とは 料金 用語 アセット アセットタイプ アセット関係 フィード エクスポート 代表的なユースケース アセッ…

複数プロジェクトのVMをリストするbashスクリプト

G-gen の杉村です。複数の Google Cloud プロジェクトの Compute Engine VM の情報一覧を取得する bash スクリプトを紹介します。 はじめに 概要 前提条件 免責事項 ソースコード 出力例 実行方法 入力ファイルの準備 スクリプトの実行 応用 はじめに 概要 …

特定組織の全プロジェクトをリストするbashスクリプト

G-gen の杉村です。特定の Google Cloud 組織配下にあるすべてのプロジェクトを取得する bash スクリプトを紹介します。 はじめに 概要 前提条件 免責事項 ソースコード 出力例 実行方法 入力情報の準備 スクリプトの実行 ソースコードの説明 注意点 はじめ…

gcloudコマンドのfilterフラグとformatフラグを使って出力を制御する

本記事では gcloud コマンドの --filter フラグと --format フラグを使った出力の制御について、具体例を交えて紹介します。 gcloud CLI コマンドの概要 出力結果を自在に操る デフォルトの出力 format フラグで出力形式を指定 filter フラグで特定の値を持…

BigQueryのストレージ料金を解説

G-genの杉村です。Google Cloud(旧称 GCP)のフルマネージドなデータウェアハウスサービスである BigQuery の、ストレージ料金体系について解説します。 BigQuery の課金体系 2つの課金モデル 論理ストレージ(Logical Storage)課金 物理ストレージ(Physi…

Cloud Monitoringのログアラートで通知内容にVM名を含める方法

G-gen の三木です。Google Cloud(旧称 GCP)の Cloud Monitoring のアラートポリシー機能で、通知文に VM 名称等を含める方法をご紹介します。 前提知識 Cloud Monitoring とは ログベースのアラートとラベル機能 改善前 設定値 課題 改善後 設定 テスト 改…

イベンドドリブン×生成AIで日報を自動要約してみた

G-gen の山崎です。 当記事では、Cloud Storage に格納されたテキストファイルに対して、Cloud Run functions にてVertex AI Gemini API を呼び出し、取得したテキストの要約結果を BigQuery に保存する処理を構築したので解説します。 システム構成 前提知…

Ads Data Hubの初期セットアップとハマりどころ

G-genの杉村です。Google Cloud(旧称 GCP)のサービスではありませんが、Google 関連サービスである Ads Data Hub の初期セットアップについて、簡単に紹介します。 はじめに Ads Data Hub とは 2 つのモード アカウント開設の前提条件 Google アカウント G…

Cloud RunやCloud Run functionsでグローバル変数を活用してパフォーマンスを向上する

G-gen の佐々木です。当記事では、Cloud Run や Cloud Run functions(旧称:Cloud Functions)のパフォーマンス向上のコツとして、グローバル変数の活用方法を紹介します。 サーバーレスにおけるコールドスタート グローバル変数によるリクエスト間のオブジ…

Looker上のデータについて生成AIに問い合わせてみた(Looker Explore Assistant)

G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Explore Assistant を使い、自然言語によってグラフを生成できる機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに Looker Explore Assistant の紹介 …

Cloud RunのDeterministic URLを解説

G-gen の佐々木です。当記事では 2024年9月より Cloud Run で利用可能となった Deterministic URL について解説します。 Deterministic URLs とは Deterministic URL のユースケース(Terraform の例) 既存の Cloud Run サービスへの影響 新規に作成した Cl…

2024年8月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年8月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud Next Tokyo '24 で新発表 Python SDK で API コールなしで Gemini のトークン数…

Cloud RunでGPUを使用する

G-gen の佐々木です。2024年8月に Cloud Run で GPU の使用がサポートされました。当記事では Cloud Run で GPU を使用する方法と、GPU がサポートされている他のコンピューティングサービスとの使い分けを解説します。 Cloud Run における GPU Cloud Run で…

Cloud RunのサーバーレスVPCアクセスをDirect VPC Egressに安全に切り替える

G-gen の佐々木です。当記事では、Cloud Run サービスが VPC に接続する際に使用するサーバーレス VPC アクセスを Direct VPC Egress に置き換える方法を解説します。 Cloud Run から VPC にトラフィックを送信する方法 サーバーレス VPC アクセスと Direct …

Cloud FunctionsがCloud Run functionsとしてリブランディング。影響を解説

G-gen の佐々木です。2024年8月22日(日本時間)、Google Cloud のサーバーレス コンピューティング サービスである Cloud Functions が Cloud Run functions としてリブランディングされました。当記事ではリブランディングによる影響や変更点を解説します…

BigQuery の継続的クエリ(Continuous queries)を解説

G-gen の杉村です。BigQuery の継続的クエリ(Continuous queries)機能を使うと、事前定義した SQL ステートメントが継続的に実行され、リアルタイムなデータ変換やリバース ETL が容易に実現できます。当記事では継続的クエリの使い方を紹介します。 概要 …

BigQuery の Short query optimized mode(短いクエリの最適化モード)を解説

G-gen の杉村です。当記事では、BigQuery の Short query optimized mode(短いクエリの最適化モード)について解説します。 概要 Short query optimized mode とは 利用方法 仕様 検証 確認する内容 手順 測定方法 結果と考察 データサイズごとの最適化適用…

Google Cloud Next Tokyo '24 速報レポート(生成 AI における MLOps とリクルートの導入事例)

G-gen の坂本です。当記事では、Google Cloud Next Tokyo '24 セッション「生成 AI における MLOps とリクルートの導入事例」に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧か…

GeminiとImagenで類似画像生成アプリを開発してみた

G-gen の福井です。当記事では、Google が提供するマルチモーダル生成 AI モデル Geminiと、画像生成 AI モデル Imagen を使用して、アップロード画像から類似画像を生成する Web アプリを開発する手順をご紹介します。 はじめに 当記事の概要 実行イメージ …

Cloud Storageの課金仕様に関する3つの変更(2024年9月から11月)

G-gen の杉村です。2024年9月から2024年11月にかけて、Cloud Storage に関係する課金額が変動する可能性があるため、その詳細と対応策について紹介します。 概要 Cloud Storage の soft delete 機能の無料期間終了 解説 対策 Compute Engine から Cloud Stor…

Ranking APIを解説〜生成AI検索エンジンの品質をRerankで向上〜

G-gen の又吉です。今回は、RAG の精度向上に役立つ、Rerank を容易に構成できる Ranking API について紹介します。 はじめに RAG とは Vertex AI Search Vertex AI APIs for RAG Ranking API 概要 Rerank とは メリット 料金 検証 サンプルコード(Python)…

Google Cloud Next Tokyo '24 速報レポート(Google Cloud のインフラストラクチャ構成のベスト プラクティスを一挙に紹介)

G-gen の出口です。当記事では、Google Cloud Next Tokyo '24「Google Cloud のインフラストラクチャ構成のベスト プラクティスを一挙に紹介」に関する速報レポートをお届けします。 セッションレポートなど、Google Cloud Next Tokyo '24 の関連記事は Goog…

Google Cloud Next Tokyo '24 速報レポート(Google Workspace、Chrome で実現する先進的なセキュリティ)

G-gen の川村です。当記事では、Google Cloud Next Tokyo '24 セッション「Google Workspace、Chrome で実現する先進的なセキュリティ」に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の…

Google Cloud Next Tokyo '24 速報レポート(ガバメントクラウドにおけるガバナンスとプラットフォームエンジニアリング)

G-gen の武井です。当記事では、Google Cloud Next Tokyo '24「ガバメントクラウドにおけるガバナンスとプラットフォームエンジニアリング」に関する速報レポートをお届けします。 セッションレポートなど、Google Cloud Next Tokyo '24 の関連記事は Google…

Google Cloud Next Tokyo '24 速報レポート(キーノート・2日目)

G-gen の杉村です。当記事では、Google Cloud Next Tokyo '24 のキーノート(2日目)に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧からご覧いただけます。 概要 Google Cloud …

Google Cloud Next Tokyo '24 速報レポート(競争環境の変化に適応!Google Cloud で実現する LION 流需要予測と生成 AI 活用)

G-gen の奥田です。本記事は Google Cloud Next Tokyo '24の1日目に行われた AI と機械学習のセッション「競争環境の変化に適応!Google Cloud で実現する LION 流需要予測と生成 AI 活用」に関する速報レポートをお届けします。 他の Google Cloud Next Tok…

Google Cloud Next Tokyo '24 速報レポート(Platform Engineering 入門: Golden Path の構築と活用)

G-gen の高井(Peacock)です。当記事では、Google Cloud Next Tokyo '24 セッション「Platform Engineering 入門: Golden Path の構築と活用」に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo …

Google Cloud Next Tokyo '24 速報レポート(プロジェクト間での分析を可能にした高セキュリティな企業データ分析基盤の構築と生成 AI の活用)

G-gen の堂原です。当記事では、Google Cloud Next Tokyo '24 セッション「プロジェクト間での分析を可能にした高セキュリティな企業データ分析基盤の構築と生成 AI の活用」に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記…

Google Cloud Next Tokyo '24 速報レポート(サイト内の検索コストを大幅削減!日本最大級のデリバリー サービス「出前館」に Vertex AI Search を導入した話)

G-gen の堂原です。当記事では、Google Cloud Next Tokyo '24 セッション「サイト内の検索コストを大幅削減!日本最大級のデリバリー サービス「出前館」に Vertex AI Search を導入した話」に関する速報レポートをお届けします。 他の Google Cloud Next To…

Google Cloud Next Tokyo '24 速報レポート(キーノート・1日目)

G-gen の杉村です。当記事では、Google Cloud Next Tokyo '24 のキーノート(1日目)に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next Tokyo '24 の関連記事は Google Cloud Next Tokyo '24の記事一覧からご覧いただけます。…

2024年7月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年7月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 新サービス「Dataplex Catalog」が公開(GA) Cloud Monitoring アラートポリシーの有償化 Goo…

Imagenを使った商品画像の背景生成アプリを開発してみた

G-gen 大津です。 前回は Imagen と Gragio を使ってテキストプロンプトから新しい画像を生成するアプリを開発しました。 はじめに 当記事で開発するもの 背景生成アプリの活用例 背景生成アプリの実行イメージ 利用サービス・ライブラリ ソースコードの開発…

Cloud Runから内部ネットワーク経由で別のCloud Runサービスを呼び出す

G-gen の佐々木です。当記事では同一プロジェクトにある Cloud Run 間の通信をプライベートな通信経路で行う方法を解説します。 Cloud Run から Cloud Run へのアクセス方法 パブリックアクセス プライベートアクセス 構成図 事前準備 シェル変数の設定 Arti…

BigQueryテーブルエクスプローラを試してみた

G-gen の奥田梨紗です。本記事では BigQuery の新しい機能である「テーブル エクスプローラ」の機能やユースケースについて紹介します。 テーブル エクスプローラとは 手順 想定されるユースケース 1. データの全体像を確認 2. 特定期間で確認(パーティショ…

生成AIのRAG構成を大手3社(AWS、Azure、Google Cloud)で徹底比較してみた

G-gen の堂原と又吉です。当記事では、Amazon Web Services(AWS)、Microsoft Azure、Google Cloud(旧称 GCP)が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーシ…

Vertex AI Searchの新方式Answer APIを解説

G-gen 又吉です。当記事では、2024年6月に GA した Vertex AI Search の最新検索方式である Answer API について紹介します。 はじめに RAG とは Vertex AI Search Answer API 概要 メリット クエリフェーズ クエリ言い換え クエリ簡素化 マルチステップ推論…

Cloud RunサービスのエンドポイントURLを無効化する

G-gen の佐々木です。当記事では、Cloud Run サービスの作成時に自動生成されるエンドポイント URL の無効化について解説します。 前提知識 Cloud Run サービスについて Cloud Run におけるロードバランサーの使用 デフォルト URL の無効化 URL 無効化のメリ…

削除されたBigQueryデータセットを復元する方法

G-gen の西島です。当記事では、Google Cloud(旧称 GCP)が提供するデータ ウェアハウスである BigQuery で、誤って削除したデータセットを復元する方法をご紹介します。 BigQuery データセットの復元方法 タイムトラベルの利用(テーブルを1つずつリストア…

GitHub ActionsでDockerイメージをビルド&プッシュしてCloud Run Jobsを更新するパイプラインを考えてみた

G-gen の武井です。当記事では GitHub Actions を使って Docker イメージをビルド&プッシュして Cloud Run Jobs を更新するパイプランについて説明します。 GitHub Actions 概要 ワークフロー 構成 ワークフローの概要 ソースコード 概要 dev.yaml 処理内容 …

Google Cloud VMware Engine(GCVE)を徹底解説!

G-gen の杉村です。VMware 資産を Google Cloud へリフトするにあたり重要な選択肢となる、Google Cloud VMware Engine(GCVE)を解説します。 概要 Google Cloud VMware Engine(GCVE)とは VMware ライセンス メリット 基本的な構成 ノード数と PoC 他社の…

2024年6月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年6月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに BigQuery の Slot Recommender が Preview => GA Cloud SQLでメンテナンスの最大5週間前に通知…

生成AIを使ってLookerダッシュボードを説明させてみた(Looker Dashboard Summarization)

G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Looker Dashboard Summarization を使い、Looker のダッシュボードを生成 AI が自然言語で説明する機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに …

Imagenを使ったシンプルな画像生成AIアプリを開発してみた

G-gen の大津です。当記事では、Google が提供する画像生成 AI モデル Imagen と、Web UI 用の Python フレームワークである Gradio を使用した、シンプルな画像生成 Web アプリの開発手順を紹介します。 はじめに Imagen Gradio 当記事で開発するもの ソー…

Cloud Runのドメインマッピング機能で設定したカスタムドメインが削除できない

G-gen の佐々木です。当記事では、Cloud Run のドメインマッピング機能で設定したカスタムドメインが削除できない事象について、解決方法を解説します。 前提知識 事象の詳細 解決方法 削除時に Cloud Storage に関するエラーが発生する場合 余談:特定リー…

Geminiへの長文リクエストでResponseValidationError

G-gen の佐々木です。当記事では、Gemini Pro に長文のリクエストを送信した際に発生することがある ResponseValidationError について解説します。 当記事で使用する環境 事象 原因と解決方法 原因 原因の詳細 解決方法 当記事で使用する環境 当記事では、…

Google Cloud組織の組織IDや顧客IDを調べる方法

G-genの杉村です。Google Cloud(旧称 GCP)で、組織の「組織 ID」や「顧客 ID」を調べる方法について紹介します。 組織 ID、顧客 ID とは 組織 ID の確認方法 プロジェクトセレクタで確認する Resource Manager 管理画面 gcloud コマンド 顧客 ID の確認方…