Google Cloud

生成AIでチャットボットを作るときの具体的なコツ (PaLM 2/chat-bison)

G-gen タナです。Google Cloud (旧称 GCP) の生成 AI チャットモデルである PaLM 2 の chat-bison モデルを使い、運用を考慮に入れたチャットツールを作成してみましたのでご紹介します。 はじめに 前提知識 Vertex AI PaLM API サンプルコード (Python) ス…

BigQueryのARRAYとSTRUCTを理解して使いこなす

G-gen の杉村です。BigQuery は通常の RDBMS と異なり分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 A…

「ドメイン別のIDの制限」の組織ポリシー適用下でCloud Runを一般公開する方法

G-gen の藤岡です。当記事では Google Cloud(旧称 GCP)で「ドメイン別の ID の制限」の組織ポリシー適用下で Cloud Run サービスを一般公開する方法を紹介します。 前提知識 「ドメイン別の ID の制限」の組織ポリシー Cloud Run 2つのアクセス制御レイヤ…

Cloud RunからCloud Storageをファイルシステムとしてマウントする

G-gen の佐々木です。当記事では Cloud Run で Cloud Storage FUSE を使用して、オブジェクトストレージである Cloud Storage のバケットをコンテナ内のディレクトリにマウントしてみます。 前提知識 Cloud Run とは Cloud Storage(GCS)とは Cloud Storage…

BigQuery DataFramesを徹底解説

G-gen 又吉です。当記事では、Google Cloud Next '23 で発表された BigQuery DataFrames を解説します。BigQuery 上のデータを、pandas ライクな、また scikit-learn ライクなインターフェイスで操作できるライブラリです。 BigQuery DataFrames 概要 bigfra…

サーバーレスVPCアクセス経由でMySQLサーバーからBigQueryにデータ転送してみた話

G-gen の西島です。Google Cloud (旧称 GCP) の Cloud Run jobs 上に構築したジョブから Compute Engine 上の MySQL サーバーへ、サーバーレス VPC アクセス経由でクエリを発行し、その結果を BigQuery にロードするジョブの検証を行ったので、その紹介です…

LangChainについて解説。大規模言語モデル(LLM)を効率よく実装するためのフレームワーク

G-gen 又吉です。LangChain とは、大規模言語モデル (LLM) を効率よく実装するために使用するフレームワークです。 当記事では LangChain を用いて、Google Cloud (旧称 : GCP) の LLM である PaLM 2 を操作する基本的な方法をご紹介します。 はじめに Verte…

Dataflowを徹底解説!

G-gen の佐々木です。当記事では、Google Cloud(旧称 GCP)のマネージド ETL サービスである Dataflow を解説します。 概要 Dataflow とは Apache Beam とは ユースケース Dataflow のユースケース 例1 : リアルタイムのデータ取り込み 例2 : データストア…

プルリクエストをトリガとするCloud Runのプレビュー環境自動デプロイを実装してみた

G-gen の藤岡です。当記事では Google Cloud(旧称 GCP)で Cloud Run のタグ付きリビジョン(tagged revision)機能を使い、GitHub のプルリクエストをトリガとしたプレビュー環境の自動デプロイを実装する方法を紹介します。 概要 前提知識 Cloud Run のタ…

BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける)

G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り…

Cloud Functionsの裏側の動きを深掘りしてみた

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)の Cloud Functions(第 2 世代)で関数をデプロイする時の裏側の動きを Cloud Logging から深掘りしていきます。Cloud Functions は裏側を意識せずに使えるサービスではありますが、各サービスとの…

Cloud Functionsを使用してCompute Engineのマシンイメージを自動で削除する

G-gen の藤岡です。当記事では、 Google Cloud(旧称 GCP)で定期的に取得した Compute Engine のマシンイメージを自動で古いイメージから削除する方法を紹介します。 はじめに 構成図 Pub/Subトリガーの Cloud Functions を作成 Cloud Scheduler ジョブの設…

Compute EngineでActive Directoryを構成する際の留意点

G-gen の杉村です。Google Cloud (旧称 GCP) の Compute Engine で動作する Windows Server 2022 で Active Directory ドメインコントローラを構成する方法と、そのドメインコントローラに Windows Server を参加させる方法について整理したので、注意点を解…

クロスリージョン内部アプリケーションロードバランサを試してみた

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)の 2023 年 8 月にリリース された Cloud Load Balancing のクロスリージョン内部アプリケーションロードバランサを紹介します。なお 2023 年 9 月時点では、クロスリージョン内部アプリケーションロ…

Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた

G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ…

Vertex AI Search and Conversationを徹底解説!

G-gen の杉村です。当記事では Google の生成 AI 技術を簡単に利用できる Vertex AI Search and Conversation を解説します。 概要 Vertex AI Search and Conversation とは ユースケース 社内検索エンジン 顧客対応補助 RAG の実現 料金 Vertex AI Conversa…

Config Controller(Config Sync)でGoogle Cloudブループリントを利用してGitOpsなリソース管理を実現する

G-gen の武井です。 Config Controller (Config Sync) で Google Cloud (旧称 GCP) のブループリントを利用して GitOps なリソース管理を実現するための検証を行いました。当記事ではその方法をご紹介します。 Config Controller (Config Sync) はじめに 当…

Pub/SubのCloud Storageサブスクリプションを試してみた

G-gen の杉村です。Pub/Sub の Cloud Storage サブスクリプション機能を実際に使ってみて、その細かい仕様を確認してみました。 はじめに 試したこと 前提知識 Cloud Storage バケットの作成 Pub/Sub サービスエージェントに権限付与 サービスエージェントと…

Google Cloud Next '23 速報を日本語で解説(2&3日目)

G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。前回の記事では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start So…

Google Cloud Next '23 速報を日本語で解説(1日目)

G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。当日は多くの Google Cloud / Google Workspace 関連の新機能や新サービスが発表されました。その全てではありませんが、重要な発表の…

Googleの生成AI、PaLM 2(言語基盤モデル)のモデルチューニングについて解説

G-gen又吉です。当記事では、Googleの生成AI、PaLM 2(言語基盤モデル)のモデルチューニングについて解説します。 構成図 はじめに Generative AI support on Vertex AI 基盤モデル モデルチューニングとは ユースケース 仕組み トレーニングデータセット サ…

Professional Machine Learning Engineer試験対策マニュアル

G-gen の佐々木です。当記事では Google Cloud(旧称 GCP)の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学…

Private Service Connect経由でプライベート接続できているか確認してみた

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)の Private Service Connect から Google Cloud APIs へのアクセスが Private Service Connect Endpoint 経由でプライベート接続できているか確認する方法を紹介します。 Private Service Connect と…

Config Controller(Config Sync)でGitOpsなリソース管理を試してみる

G-gen の武井です。当記事では Config Controller (Config Sync) を用いて GitOps で Google Cloud (旧称 GCP) のリソース管理を試してみましたので紹介します。 Config Controller (Config Sync) はじめに 当記事の概要 前提知識 Anthos Config Management …

組織外のユーザーにプロジェクトレベルでオーナーを付与する際の注意点

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)で組織外のユーザーにプロジェクトレベルでオーナー(roles/owner)を付与する際の注意点について紹介します。 はじめに・前提知識 IAM と ID 管理 組織外のユーザー 組織外のユーザーにプロジェクト…

BigQueryのクロスリージョン・データセットレプリケーションを解説

G-gen の杉村です。BigQuery の可用性を高めるための クロスリージョン・データセットレプリケーション (Cross-region dataset replication) について解説します。 クロスリージョン・データセットレプリケーションとは 仕組み BigQuery の可用性 データのレ…

Config Controllerで複数Namespaceを使ったリソース管理

G-gen の堂原です。本記事では Config Connector を Config Controller で構築した際に、複数の Kubernetes Namespace を使ってリソース管理を行う方法を紹介します。 本記事について 前提知識 Namespace モード Config Controller のデフォルト状態 実施内…

Filestoreを徹底解説。Google Cloudのマネージドなファイルサーバ

G-gen の杉村です。Google Cloud のマネージドなファイルサーバである Filestore を徹底解説します。 はじめに Filestore とは ユースケース 料金 ディスク容量 バックアップ ネットワーク コンポーネント イメージ図 インスタンス サービスティア サービス…

Cloud RunのDirect VPC Egressを解説

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Direct VPC Egress 機能について解説します。 前提知識 Cloud Run とは サーバーレス VPC アクセスコネクタとは 概要 Direct VPC Egress とは …

Googleの生成AI、PaLM 2をSlack連携して社内ツールとして導入してみた

Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Slack と連携した簡易的なチャットボットの PoC を行いました。 生成 AI を社内で運用し、データを内部で管理することで、機密情報の保護ができます。また社員が入力したプロン…

ロードバランサのバックエンドにあるCompute Engine上のWebアプリケーションにアクセスすると "no healthy upstream" が表示される

G-gen の佐々木です。当記事ではロードバランサを経由して Compute Engine 上の Web アプリケーションにアクセスしたときに "no healthy upstream" が表示されてしまうときの原因と対処方法を記載します。 事象 原因と対処方法 参考 事象 以下の図に示すよう…

Cloud BuildでTerraform実行を自動化する

G-gen の武井です。当記事では Cloud Build を使って Terraform 実行を自動化する方法を紹介します。 Cloud Build で Terraform 実行を自動化 はじめに 当記事の概要 前提知識 GitHub Terraform Cloud Build Cloud Build トリガー Terraform / Cloud Build …

Network Intelligence Centerを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) 上のネットワークに対する可視性を高めるためのツールである Network Intelligence Center を紹介します。 Network Intelligence Center とは 接続テスト 概要 分析の仕組み テスト可能な通信 対応ノード 対応し…

Cloud Vision APIを用いて車のナンバープレートをマスキングしてみる

G-gen 又吉です。Google Cloud (旧称 GCP) の事前トレーニング済みの API のひとつである Cloud Vision API を用いて車のナンバープレートをマスキングする処理をご紹介します。 はじめに Vision AI Vision API 事前確認でわかったこと 構成図 準備 ディレク…

BigQuery MLでVertex AIの基盤モデルPaLM2を呼び出して感情分析してみた

G-gen 又吉です。当記事では、BigQuery ML から Vertex AI の基盤モデルを呼び出して感情分析を行う方法を解説します。 前提知識 Generative AI Support on Vertex AI リモートモデル ML.GENERATE_TEXT 関数 概要 引数 出力 クォータと制限 概要 使用するデ…

Cloud WorkflowsとDataformを用いたデータ分析パイプラインを構築してみた

G-gen 又吉です。当記事では、Cloud Workflows と Dataform を用いてデータ分析パイプラインを構築してみたいと思います。 前提知識 Cloud Workflows Dataform ETL と ELT 概要 今回の構成 Cloud Workflows のスコープ Dataform のスコープ 準備 ディレクト…

GKEで予備の容量プロビジョニングを使用してワークロードのスケールアウトを高速化する

G-gen の佐々木です。当記事では Google Kubernetes Engine(以下、GKE)で 予備の容量プロビジョニング(spare capacity provisioning) を使用することで、ワークロードを素早くスケールアウトする方法を解説します。 GKE とは ノードの自動プロビジョニン…

Network Connectivity Centerを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の VPC やオンプレミス (専用線・VPN) ネットワークの間でハブアンドスポーク構成を実現するためのフルマネージドサービスである Network Connectivity Center をご紹介します。 概要 Network Connectivity Cente…

Generative AI support on Vertex AIを徹底解説!

G-gen の又吉です。当記事では、Goolge Cloud (旧称 GCP) の Vertex AI でサポートされた Generative AI を解説します。 Vertex AI での Generative AI サポート 概要 Generative AI とは Generative AI モデル Generative AI Studio 概要 利用可能モデル 概…

Cloud Monitoring アラートで VM マシンのメトリクスを監視する

G-gen の武井です。当記事では Cloud Monitoring アラートを使って VM マシンのメトリクスを監視をする方法を紹介します。 Cloud Monitoring はじめに 前提知識 Cloud Monitoring とは 指標の収集 アラート 設定手順 概要 通知先の登録 Slack のメールアドレ…

Cloud Run services でタグ付きリビジョンを使用して新しいリビジョンをテストする

G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) のサーバーレスなコンテナサービスである Cloud Run の タグ付きリビジョン(tagged revision)機能を解説します。 Cloud Run とは タグ付きリビジョンとは タグ付きリビジョンを使用する Cloud Run…

Bigtableを徹底解説!

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の片岩です。当記事では Google Cloud のデータベースサービスである Bigtable を徹底解説します。ビジネスにおいてデータ活用が重要なことは…

GCEからGCS操作時の権限エラーでサービスアカウントのIAM以外に疑うこと

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Compute Engine VM から Cloud Storage バケットを操作する時に起きる権限エラーについて、実際のエラー内容からサービスアカウントの IAM 権限以外に疑うこと、その対処法について紹介します。 …

Terraformで「SERVICE_DISABLED」エラーが出た時の対処法

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) のリソースを Terraform で作成する際に生じる "reason": "SERVICE_DISABLED" エラーへの対処として Terraform の time_sleep を紹介します。 前提知識 エラー文 原因 対処法 前提知識 Google Cloud …

閉域網で利用するためのTerraform Enterprise構築について

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の浅香です。 今回は Google Cloud 上に Terraform Enterprise を実際に構築する機会を頂いたので、その構…

ログバケット作成時に「リクエストしたエンティティは見つかりませんでした」

G-gen の杉村です。Cloud Logging のログバケットを作成する際に リクエストしたエンティティは見つかりませんでした というメッセージが出力されました。原因と対処法を紹介します。 はじめに・前提知識 事象 原因調査 調査 判明した原因 対処法 はじめに・…

Cloud Composer (メジャーバージョン2)を徹底解説!

G-gen の堂原です。マネージドな Apache Airflow 環境を提供する Cloud Composer について、Cloud Composer 2 を中心に解説します。 はじめに Airflow とは 概要 特徴 様々なサービス・ツールと連携可能 定期実行されるバッチ方式のワークフローに特化 可視…

Cloud Monitoring指標スコープでVPCピアリンググループ単位の割り当て消費をモニタリングする

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 当記事では Cloud Monitoring 指標スコープ を活用して複数プロジェクトを横断してリソ…

Google CloudのCloud Firewallを徹底解説!

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) においてアクセス制御のために利用する Cloud Firewall について徹底解説します。 概要 Cloud Firewall とは 2つの設定スコープ・3つの料金ティア 料金 料金ティア 階…

Cross-Cloud Interconnectを徹底解説!

G-gen の杉村です。当記事では、Google Cloud (旧称 GCP) と他のパブリッククラウドを専用線接続するサービスである Cross-Cloud Interconnect を詳細に解説します。 概要 Cross-Cloud Interconnect とは メリット 専用線サービス 対応クラウド 対応ロケーシ…