Google Cloud

BigQuery MLでVertex AIの基盤モデルPaLM2を呼び出して感情分析してみた

G-gen 又吉です。当記事では、BigQuery ML から Vertex AI の基盤モデルを呼び出して感情分析を行う方法を解説します。 前提知識 Generative AI Support on Vertex AI リモートモデル ML.GENERATE_TEXT 関数 概要 引数 出力 クォータと制限 概要 使用するデ…

Cloud WorkflowsとDataformを用いたデータ分析パイプラインを構築してみた

G-gen 又吉です。当記事では、Cloud Workflows と Dataform を用いてデータ分析パイプラインを構築してみたいと思います。 前提知識 Cloud Workflows Dataform ETL と ELT 概要 今回の構成 Cloud Workflows のスコープ Dataform のスコープ 準備 ディレクト…

GKEで予備の容量プロビジョニングを使用してワークロードのスケールアウトを高速化する

G-gen の佐々木です。当記事では Google Kubernetes Engine(以下、GKE)で 予備の容量プロビジョニング(spare capacity provisioning) を使用することで、ワークロードを素早くスケールアウトする方法を解説します。 GKE とは ノードの自動プロビジョニン…

Network Connectivity Centerを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の VPC やオンプレミス (専用線・VPN) ネットワークの間でハブアンドスポーク構成を実現するためのフルマネージドサービスである Network Connectivity Center をご紹介します。 概要 Network Connectivity Cente…

Generative AI support on Vertex AIを徹底解説!

G-gen の又吉です。当記事では、Goolge Cloud (旧称 GCP) の Vertex AI でサポートされた Generative AI を解説します。 Vertex AI での Generative AI サポート 概要 Generative AI とは Generative AI モデル Generative AI Studio 概要 利用可能モデル 概…

Cloud Monitoring アラートで VM マシンのメトリクスを監視する

G-gen の武井です。当記事では Cloud Monitoring アラートを使って VM マシンのメトリクスを監視をする方法を紹介します。 Cloud Monitoring はじめに 前提知識 Cloud Monitoring とは 指標の収集 アラート 設定手順 概要 通知先の登録 Slack のメールアドレ…

Cloud Run services でタグ付きリビジョンを使用して新しいリビジョンをテストする

G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) のサーバーレスなコンテナサービスである Cloud Run の タグ付きリビジョン(tagged revision)機能を解説します。 Cloud Run とは タグ付きリビジョンとは タグ付きリビジョンを使用する Cloud Run…

Bigtableを徹底解説!

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の片岩です。当記事では Google Cloud のデータベースサービスである Bigtable を徹底解説します。ビジネスにおいてデータ活用が重要なことは…

GCEからGCS操作時の権限エラーでサービスアカウントのIAM以外に疑うこと

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Compute Engine VM から Cloud Storage バケットを操作する時に起きる権限エラーについて、実際のエラー内容からサービスアカウントの IAM 権限以外に疑うこと、その対処法について紹介します。 …

Terraformで「SERVICE_DISABLED」エラーが出た時の対処法

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) のリソースを Terraform で作成する際に生じる "reason": "SERVICE_DISABLED" エラーへの対処として Terraform の time_sleep を紹介します。 前提知識 エラー文 原因 対処法 前提知識 Google Cloud …

閉域網で利用するためのTerraform Enterprise構築について

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の浅香です。 今回は Google Cloud 上に Terraform Enterprise を実際に構築する機会を頂いたので、その構…

ログバケット作成時に「リクエストしたエンティティは見つかりませんでした」

G-gen の杉村です。Cloud Logging のログバケットを作成する際に リクエストしたエンティティは見つかりませんでした というメッセージが出力されました。原因と対処法を紹介します。 はじめに・前提知識 事象 原因調査 調査 判明した原因 対処法 はじめに・…

Cloud Composer (メジャーバージョン2)を徹底解説!

G-gen の堂原です。マネージドな Apache Airflow 環境を提供する Cloud Composer について、Cloud Composer 2 を中心に解説します。 はじめに Airflow とは 概要 特徴 様々なサービス・ツールと連携可能 定期実行されるバッチ方式のワークフローに特化 可視…

Cloud Monitoring指標スコープでVPCピアリンググループ単位の割り当て消費をモニタリングする

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 当記事では Cloud Monitoring 指標スコープ を活用して複数プロジェクトを横断してリソ…

Google CloudのCloud Firewallを徹底解説!

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) においてアクセス制御のために利用する Cloud Firewall について徹底解説します。 概要 Cloud Firewall とは 2つの設定スコープ・3つの料金ティア 料金 料金ティア 階…

Cross-Cloud Interconnectを徹底解説!

G-gen の杉村です。当記事では、Google Cloud (旧称 GCP) と他のパブリッククラウドを専用線接続するサービスである Cross-Cloud Interconnect を詳細に解説します。 概要 Cross-Cloud Interconnect とは メリット 専用線サービス 対応クラウド 対応ロケーシ…

Pub/SubのStreamingPull APIで順序指定キーを含むメッセージを処理する

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) が提供するメッセージングサービスである Cloud Pub/Sub の StreamingPull API と 順序指定キー を使用し、メッセージを Pub/Sub トピックに送信された順にリアルタイム処理する仕組みを実装してい…

セキュリティスイート for Google Cloudを徹底解説!

G-gen セキュリティスイート for Google Cloud とは ユースケース 実現できること 概要 機能例 提供体系 Terraform での提供 請求代行サービスへの付帯 プラン一覧 仕組み 使用する Google Cloud サービス スコープ お申し込み方法 G-gen セキュリティスイー…

Cloud Workstationsを徹底解説!

G-gen の堂原です。Google Cloud (旧称 GCP) のマネージドなリモート開発環境である Cloud Workstations を解説します。 Cloud Workstations 概要 Cloud Workstations とは 利用イメージ メリット コンポーネント 概要 Workstation cluster Workstation conf…

TerraformでVPCのデフォルトルート削除のオプションを設定するときの注意点

G-gen の藤岡です。Terraform で VPC を作成し、デフォルトルートを削除するオプションを有効にし再度実行した際、Terraform 上ではエラーとならないものの、実際のデフォルトルートのリソースは削除されませんでした。今回はその事象の原因と解決方法を紹介…

Looker Studio グラフの使い方を解説(サンキーグラフ編)

G-genの荒井です。2023/04/10に Looker Studio へ実装されたサンキーグラフの使い方について解説します。非常にグラフィカルなグラフで視覚効果が高いので、一層訴求力の高いダッシュボード作成に役立つグラフです。 概要 サンキーグラフとは ユースケース …

Connected SheetsとBigQueryで技術ブログのGA4アクセス解析をしている話

G-gen の杉村です。記事タイトル通り「Connected Sheets と BigQuery で技術ブログの GA4 アクセス解析をしている話」について、技術的な話題を中心にご紹介したいと思います。 はじめに 技術ブログと GA4 データ保持期間と BigQuery Connected Sheets の活…

BigQueryを徹底解説!(応用編)

G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方はまずは基本編の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テ…

リーエン保護によるプロジェクト削除防止機能を使ってみた

こんにちは、G-gen の荒井です。Google Cloud を利用中に、プロジェクトを間違って消してしまった!もしくは、消しそうになって、ヒヤッとした。なんて経験がある方も多いのではないでしょうか。今回はそういった誤操作によるプロジェクト削除を防止するリー…

ChatGPTを題材に学ぶ、Cloud Functionsで作る社内向けAPI開発の勘所

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 はじめまして、みずほリサーチ&テクノロジーズの小野寺と申します。 本記事では、ChatGPTの事例を題材に、Cloud FunctionsでWeb APIを作る際の要点…

Google Cloudで理解する疎結合アーキテクチャとメッセージングサービス

G-gen の杉村です。Google Cloud (旧称 GCP) で Pub/Sub を中心とした疎結合アーキテクチャについて解説します。 はじめに 疎結合アーキテクチャとは 非同期処理 同期と非同期 同期処理 非同期処理 疎結合アーキテクチャと非同期処理 メリット メッセージン…

BigQueryを徹底解説!(基本編)

G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバー…

GoogleマネージドSSL/TLS証明書をDNS認証で作成する方法

G-gen の堂原です。Google Cloud (旧称 GCP) の Cloud Load Balancing で利用できる Google マネージド SSL/TLS 証明書を、Certificate Manager で作成する方法を紹介します。 Certificate Manager について Certificate Manager とは 構成 Certificate Cert…

Web アプリを作成して SQL インジェクションから保護してみた

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 Cloud Armor は Google Cloud でセキュアな Web アプリケーションを構築するために欠かせないプロダクトです。 代表的なアプリケーションへの攻撃で…

Cloud RunのサイドカーコンテナでAlloyDB Auth Proxyを使用する

G-gen の佐々木です。当記事では、Cloud Run services の マルチコンテナ (サイドカー) 機能 のユースケースの 1 つである、AlloyDB Auth Proxy をサイドカーコンテナとして使用した Alloy DB への接続を試してみます。 前提知識 Cloud Run services Cloud R…

Cloud DNSで複数リージョンインスタンスの内部IPアドレスへ振り分ける

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Cloud DNS を使うことで複数のリージョンにあるインスタンスの内部 IP アドレスで HTTP(S) 通信を振り分ける方法を紹介します。環境の作成には Terraform を使います。 Cloud DNS とは 検証の背景…

Pub/SubでStreamingPull APIを使用してメッセージをリアルタイムで処理する

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) が提供するメッセージングサービスである Cloud Pub/Sub と、そのクライアントライブラリを使用することで、継続的に送信されるデータ(メッセージ)をリアルタイムで処理する仕組みを実装していき…

プロキシ経由でgcloudコマンドが失敗。サービスアカウントが使えない

G-gen の杉村です。Compute Engine の VM で Squid 等の HTTP プロキシサーバ経由でインターネットへ出るような構成を取った際、gcloud コマンドが不可解なエラーメッセージと共に失敗しました。今回はその事象と、解決方法をご紹介します。 事象 やろうとし…

Artifact Registryリモートリポジトリを活用し、インターネット接続が制限された環境でビルドを実行する

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山です。本日は Artifact Registry リモートリポジトリ機能について、検証した結果を共有します。 Artif…

Google Cloud サービスカット学習コンテンツ集

Google Cloud (旧称 GCP) の 学習に役立つオンラインコンテンツ をサービスカットや分野別でまとめました。Google Cloud の基本的な学習のほか、資格取得にも役立つコンテンツ集となっておりますので、お役立てください。 はじめに Google Cloud 全般 課金・…

Cloud Identityの登録・組織作成手順

G-gen の佐藤です。当記事では Google のアイデンティティ管理サービスである Cloud Identity (Free Edition) の登録から組織作成までの手順について紹介します。 概要 Cloud Identity とは 2つのエディション Cloud Identity のユースケース 登録手順 前提 …

Google Cloudの組織(Organization)を徹底解説

G-gen の杉村です。Google Cloud (旧称 GCP) には組織 (Organization) という概念があります。ガバナンスとセキュリティのために重要なこの機能を解説します。 組織の基本 組織 (Organization) とは リソースの階層構造 組織リソース フォルダ・プロジェクト…

Looker Studio→BigQuery→Google SheetsにおけるPermission deniedの対処方法

G-gen の堂原です。本記事では、Looker Studio において、Google Sheets をソースとする BigQuery 外部テーブルに接続しようとすると発生する Permission denied エラーの対処法を紹介します。 はじめに 事象 : 外部テーブルへの接続でエラー 対処法 サマリ …

Artifact RegistryのタグなしDockerイメージ ダイジェストを一括削除

G-gen の堂原です。 Artifact Registry に溜まった、タグなしの Docker イメージ ダイジェストを一括で削除する Python プログラムを紹介します。 はじめに ソースコードの解説 処理の流れ ソースコード クライアントライブラリ Python Client for Artifact …

Google Cloudで理解するサーバーレス・アーキテクチャ

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 サーバーレス構成ではクラウドサービスのポテンシャルを最大限引き出すことができます。モダンなアプリケーションの設計にはサーバーレスへの理解が…

Cloud Runのセッションアフィニティを解説

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の セッションアフィニティ 機能について解説します。 セッションアフィニティを使用することで、同じユーザーからのリクエストを特定のコンテナ…

AWS LambdaからCloud Storage(GCS)にファイルをアップロードする

G-gen の杉村です。当記事では、AWS Lambda のサーバーレス関数から Google Cloud (旧称 GCP) の Cloud Storage (GCS) にファイルをアップロードする方法をご紹介します。認証・認可には Workload Identity を利用します。 はじめに 検証の概要 留意事項 構…

ChatGPT (GPT-4)を使ってCloud Functionsを速攻で作成してみた

G-gen の堂原です。 ChatGPT (GPT-4) を使ってほぼ頭を使うことなく、Cloud Functions を作成してみたので、その過程を紹介します。 はじめに 事前準備 事前準備も ChatGPT を使用 Cloud Functions コード生成 一発で Python コード生成 エラー修正も可能 動…

AlloyDB for PostgreSQLを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の PostgreSQL 互換のフルマネージドサービスである AlloyDB for PostgreSQL について解説します。 概要 AlloyDB とは サービスの位置づけ PostgreSQL との互換性 料金 アーキテクチャ クラスタ プライマリインス…

VertexAI WorkbenchでKaggle環境を構築する

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の藤根です。 本日はKaggle初心者を対象に、データ分析サービスであるVertexAIのワークベンチ上にKaggle環境…

機械学習初心者がVertex AI AutoMLで年収予測してみた(後編)

G-genの佐伯です。当記事では Vertex AI の AutoML 及びバッチ予測の基本的な操作方法や、簡易で安価に予測データを収集する手法を解説します。後編では Vertex AI AutoML で作成した機械学習モデルをローカルの docker で動作させ、安価に予測値を取得する…

TerraformとAnsibleを組み合わせてGoogle Cloudのネットワークリソースを作成してみる

G-gen の藤岡です。当記事では、Terraform と Ansible を組み合わせて、Google Cloud(旧称 GCP)のネットワークリソースの作成をします。 サービスの概要 Terraform とは Ansible とは Terraform と Ansible の違い 検証の背景 前提 構成 インスタンス情報 …

Google Cloudの組織内アクセス制限を試してみる

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の藤岡です。組織内アクセス制限は、承認された Google Cloud 組織へのみアクセスを許可する Resource Manager の機能の 1 つです。当記事で…

Cloud Run の Startup CPU boost を解説

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Startup CPU boost 機能について解説します。Startup CPU boost は、Cloud Run の弱点とも言える コールドスタート による影響を軽減すること…

Cloud ShellのホームディレクトリをGCSにアーカイブする

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)の Cloud Shell の $HOME ディレクトリのアーカイブを Cloud Storage へアップロードし、Cloud Shell を初期化する方法について紹介します。 サービスの概要 Cloud Shell 永続ディスクストレージ Clo…