Google Cloud

ChatGPTを題材に学ぶ、Cloud Functionsで作る社内向けAPI開発の勘所

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 はじめまして、みずほリサーチ&テクノロジーズの小野寺と申します。 本記事では、ChatGPTの事例を題材に、Cloud FunctionsでWeb APIを作る際の要点…

Google Cloudで理解する疎結合アーキテクチャとメッセージングサービス

G-gen の杉村です。Google Cloud (旧称 GCP) で Pub/Sub を中心とした疎結合アーキテクチャについて解説します。 はじめに 疎結合アーキテクチャとは 非同期処理 同期と非同期 同期処理 非同期処理 疎結合アーキテクチャと非同期処理 メリット メッセージン…

BigQueryを徹底解説!(基本編)

G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバー…

GoogleマネージドSSL/TLS証明書をDNS認証で作成する方法

G-gen の堂原です。Google Cloud (旧称 GCP) の Cloud Load Balancing で利用できる Google マネージド SSL/TLS 証明書を、Certificate Manager で作成する方法を紹介します。 Certificate Manager について Certificate Manager とは 構成 Certificate Cert…

Web アプリを作成して SQL インジェクションから保護してみた

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 Cloud Armor は Google Cloud でセキュアな Web アプリケーションを構築するために欠かせないプロダクトです。 代表的なアプリケーションへの攻撃で…

Cloud RunのサイドカーコンテナでAlloyDB Auth Proxyを使用する

G-gen の佐々木です。当記事では、Cloud Run services の マルチコンテナ (サイドカー) 機能 のユースケースの 1 つである、AlloyDB Auth Proxy をサイドカーコンテナとして使用した Alloy DB への接続を試してみます。 前提知識 Cloud Run services Cloud R…

Cloud DNSで複数リージョンインスタンスの内部IPアドレスへ振り分ける

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Cloud DNS を使うことで複数のリージョンにあるインスタンスの内部 IP アドレスで HTTP(S) 通信を振り分ける方法を紹介します。環境の作成には Terraform を使います。 Cloud DNS とは 検証の背景…

Pub/SubでStreamingPull APIを使用してメッセージをリアルタイムで処理する

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) が提供するメッセージングサービスである Cloud Pub/Sub と、そのクライアントライブラリを使用することで、継続的に送信されるデータ(メッセージ)をリアルタイムで処理する仕組みを実装していき…

プロキシ経由でgcloudコマンドが失敗。サービスアカウントが使えない

G-gen の杉村です。Compute Engine の VM で Squid 等の HTTP プロキシサーバ経由でインターネットへ出るような構成を取った際、gcloud コマンドが不可解なエラーメッセージと共に失敗しました。今回はその事象と、解決方法をご紹介します。 事象 やろうとし…

Artifact Registryリモートリポジトリを活用し、インターネット接続が制限された環境でビルドを実行する

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山です。本日は Artifact Registry リモートリポジトリ機能について、検証した結果を共有します。 Artif…

Google Cloud サービスカット学習コンテンツ集

Google Cloud (旧称 GCP) の 学習に役立つオンラインコンテンツ をサービスカットや分野別でまとめました。Google Cloud の基本的な学習のほか、資格取得にも役立つコンテンツ集となっておりますので、お役立てください。 はじめに Google Cloud 全般 課金・…

Cloud Identityの登録・組織作成手順

G-gen の佐藤です。当記事では Google のアイデンティティ管理サービスである Cloud Identity (Free Edition) の登録から組織作成までの手順について紹介します。 概要 Cloud Identity とは 2つのエディション Cloud Identity のユースケース 登録手順 前提 …

Google Cloudの組織(Organization)を徹底解説

G-gen の杉村です。Google Cloud (旧称 GCP) には組織 (Organization) という概念があります。ガバナンスとセキュリティのために重要なこの機能を解説します。 組織の基本 組織 (Organization) とは リソースの階層構造 組織リソース フォルダ・プロジェクト…

Looker Studio→BigQuery→Google SheetsにおけるPermission deniedの対処方法

G-gen の堂原です。本記事では、Looker Studio において、Google Sheets をソースとする BigQuery 外部テーブルに接続しようとすると発生する Permission denied エラーの対処法を紹介します。 はじめに 事象 : 外部テーブルへの接続でエラー 対処法 サマリ …

Artifact RegistryのタグなしDockerイメージ ダイジェストを一括削除

G-gen の堂原です。 Artifact Registry に溜まった、タグなしの Docker イメージ ダイジェストを一括で削除する Python プログラムを紹介します。 はじめに ソースコードの解説 処理の流れ ソースコード クライアントライブラリ Python Client for Artifact …

Google Cloudで理解するサーバーレス・アーキテクチャ

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 サーバーレス構成ではクラウドサービスのポテンシャルを最大限引き出すことができます。モダンなアプリケーションの設計にはサーバーレスへの理解が…

Cloud Runのセッションアフィニティを解説

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の セッションアフィニティ 機能について解説します。 セッションアフィニティを使用することで、同じユーザーからのリクエストを特定のコンテナ…

AWS LambdaからCloud Storage(GCS)にファイルをアップロードする

G-gen の杉村です。当記事では、AWS Lambda のサーバーレス関数から Google Cloud (旧称 GCP) の Cloud Storage (GCS) にファイルをアップロードする方法をご紹介します。認証・認可には Workload Identity を利用します。 はじめに 検証の概要 留意事項 構…

ChatGPT (GPT-4)を使ってCloud Functionsを速攻で作成してみた

G-gen の堂原です。 ChatGPT (GPT-4) を使ってほぼ頭を使うことなく、Cloud Functions を作成してみたので、その過程を紹介します。 はじめに 事前準備 事前準備も ChatGPT を使用 Cloud Functions コード生成 一発で Python コード生成 エラー修正も可能 動…

AlloyDB for PostgreSQLを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の PostgreSQL 互換のフルマネージドサービスである AlloyDB for PostgreSQL について解説します。 概要 AlloyDB とは サービスの位置づけ PostgreSQL との互換性 料金 アーキテクチャ クラスタ プライマリインス…

VertexAI WorkbenchでKaggle環境を構築する

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の藤根です。 本日はKaggle初心者を対象に、データ分析サービスであるVertexAIのワークベンチ上にKaggle環境…

機械学習初心者がVertex AI AutoMLで年収予測してみた(後編)

G-genの佐伯です。当記事では Vertex AI の AutoML 及びバッチ予測の基本的な操作方法や、簡易で安価に予測データを収集する手法を解説します。後編では Vertex AI AutoML で作成した機械学習モデルをローカルの docker で動作させ、安価に予測値を取得する…

TerraformとAnsibleを組み合わせてGoogle Cloudのネットワークリソースを作成してみる

G-gen の藤岡です。当記事では、Terraform と Ansible を組み合わせて、Google Cloud(旧称 GCP)のネットワークリソースの作成をします。 サービスの概要 Terraform とは Ansible とは Terraform と Ansible の違い 検証の背景 前提 構成 インスタンス情報 …

Google Cloudの組織内アクセス制限を試してみる

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の藤岡です。組織内アクセス制限は、承認された Google Cloud 組織へのみアクセスを許可する Resource Manager の機能の 1 つです。当記事で…

Cloud Run の Startup CPU boost を解説

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Startup CPU boost 機能について解説します。Startup CPU boost は、Cloud Run の弱点とも言える コールドスタート による影響を軽減すること…

Cloud ShellのホームディレクトリをGCSにアーカイブする

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)の Cloud Shell の $HOME ディレクトリのアーカイブを Cloud Storage へアップロードし、Cloud Shell を初期化する方法について紹介します。 サービスの概要 Cloud Shell 永続ディスクストレージ Clo…

Cloud Run jobs を徹底解説!

G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) のサーバーレスなコンテナサービスである Cloud Run の機能の 1 つ、Cloud Run jobs について解説します。 Cloud Run jobs とは Cloud Run jobs のリソースモデル Job Task Execution Cloud Run job…

TerraformでGoogle CloudのIAMを管理する際の注意点

G-gen の堂原です。 当記事では、Terraform を用いて Google Cloud (旧称 GCP) の Identity and Access Management (IAM) を管理する際に、注意すべき点について紹介します。 はじめに google_xxx_iam の使い分け google_project_iam_xxx の使い分けと注意点…

AWS経験者から見たGoogle CloudとAWSの相違点(外部接続統制)

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山です。本日は Amazon Web Services (AWS) 経験者の視点から、ネットワークレイヤでの外部接続について…

組織ポリシーによる外部接続の予防的統制

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山です。 当記事では Google Cloud でネットワーク外部接続の予防的統制を実現する方法として、組織ポリ…

AWS経験者から見たGoogle CloudとAWSの相違点(ネットワーク)

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山です。本日は Amazon Web Services (AWS) 経験者の視点から、オンプレミスとの接続関連で注意が必要な…

ハブアンドスポーク構成によるCloud Interconnect接続の共用と注意点

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山です。当記事では、Google Cloud の専用線サービス Cloud Interconnect においてハブアンドスポーク (…

プライベートIPアドレス在庫枯渇問題への対応

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山です。当記事では Google Cloud をハイブリッドクラウドとして利用する際の、プライベート IP アドレ…

GitHub Actions の Self-hosted runners を使って Google Cloud 環境に Terraform を実行する方法

G-gen の武井です。 当記事では GitHub Actions の Self-hosted runners (セルフホストランナー) を使って Google Cloud (旧称 GCP) 環境に Terraform を実行する方法を紹介します。 GitHub Actions はじめに 実行環境について 概要 ランナーの種類 ランナー…

Windows ServerでFilestoreがマウントできない(Network Error - 53)

G-gen の藤岡です。GCE(Windows Server)から Filestore をマウントしようとしたところ、Network Error - 53 のエラーが出力されマウントに失敗する事象が起きました。原因と対策を紹介します。 事象 調査 原因 対処 参考 事象 以下の構成において、Filesto…

BigQueryの料金体系(BigQuery Editions)を徹底解説

G-genの杉村です。Google Cloud (旧称 GCP) のフルマネージドなデータウェアハウスサービスである BigQuery の新しい料金体系「BigQuery Editions」が 2023年3月29日に発表され、2023年7月5日に施行されました。当記事ではその仕組みと、従来の料金体系との…

GKE クラスタ内のワークロードから Google Cloud APIs にアクセスする(Workload Identity)

G-gen の佐々木です。当記事では、Google Kubernetes Engine (以下、GKE) のクラスタにデプロイした Pod から Google Cloud APIs にアクセスする方法を解説します。 GKE の概要 GKE クラスタ内の Pod から Google Cloud APIs にアクセスする方法 ノードに紐…

Google CloudのComputingプロダクトを解説

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 Web サービスの可用性や運用効率を最大化するには、ユースケースにあったコンピューティングプロダクトの選定が重要です。Google Cloud では複数の…

Cloud Workflowsを徹底解説

G-genの杉村です。Google Cloud (旧称 GCP) のジョブ自動化サービスである Cloud Workflows(または単に Workflows)を解説します。 概要 Cloud Workflows とは ユースケース 料金 課金の仕組み 内部ステップと外部ステップ ワークフロー定義 定義の基本 ラ…

gcloudとjqでGoogle Cloudのリソース情報を取得(IAM編)

G-gen の武井です。 当記事は gcloud と jq コマンドシリーズの第2弾として、Google Cloud (旧称 GCP) の IAM に関する情報の取得方法についてご紹介します。 組織 / フォルダ / プロジェクト 編の記事 組織の IAM Policy IAM ポリシーの表示 プリンシパルの…

Google Cloud上にVault Enterpriseクラスタを構築してみた

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の高瀬です。 Google Cloud(旧GCP)上に HashiCorp 社の Vault Enterprise クラスタを構築したので流れを…

Vertex AI WorkbenchとBigQuery MLで機械学習モデル(クラスタリング)を構築してみた

G-gen 又吉です。今回は Vertex AI Workbench を用いて JupyterLab の開発環境から BigQuery ML を実行し機械学習モデル(クラスタリング)を作成していきたいと思います。 概要 概要 今回使用するデータ K-means 法とは 準備 Vertex AI Workbench の作成 BigQ…

GCE の内部 DNS タイプとインスタンス名の関係

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)の Compute Engine(以下 GCE)のインスタンス名の重複について、2 種類の内部 DNS タイプの観点から深堀していきます。 はじめに インスタンス名の重複 検証結果 サービスの概要 メタデータサーバー…

GKE で BackendConfig を使用して Ingress に Cloud Armor セキュリティポリシーを構成する

G-gen の佐々木です。当記事では Google Cloud ( 旧称 GCP ) の Google Kubernetes Engine ( GKE ) で作成した Ingress に対して、Cloud Armor セキュリティポリシー を構成することで、ワークロードに対するアクセス元 IP アドレス制限を実装します。 前提…

Cloud Scheduler を徹底解説!

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 当社では業務系システムを開発する機会が多く、定期的に実行する処理が多くあります。慣れ親しんだCron式でジョブの実行定義ができる Cloud Schedul…

BigQuery MLで機械学習モデル(分類)を構築してみた

G-gen 又吉です。今回は BigQuery に備わる機械学習機能である BigQuery ML で、2 項ロジスティック回帰を用いた分類モデルを作成してみました。 BigQuery ML とは サポートされているモデル 今回使用するデータ 準備 各種ファイルのアップロード データセッ…

VMインスタンスの自動起動・終了をスケジューリングする設定方法

こんにちは、G-gen の荒井です。 今回はコスト削減にも繋がる VMインスタンス (Compute Engine) の起動・終了をスケジューリングする設定をご紹介いたします。 概要 起動・終了をスケジューリングするメリット スナップショットへの影響 VMインスタンス シャ…

GKE で Ingress を使用して Google マネージド SSL 証明書を使用した外部 HTTP(S) ロードバランサを作成する

G-gen の佐々木です。当記事では Google Cloud ( 旧称 GCP ) の Google Kubernetes Engine ( GKE ) で Ingress を使用し、Google マネージド SSL 証明書が構成された HTTPS ロードバランサ を Kubernetes のリソースとして作成していきます。 前提知識 Googl…

Windows Server VMのライセンス認証(設定編)

G-gen の藤岡です。当記事では、Google Cloud(旧称 GCP)の Compute Engine(以下 GCE)において、Windows Server のオンデマンドライセンスを使用した場合のライセンス認証の設定編について紹介します。 はじめに 検証 構成図 前提条件 Terraform のコード…

Cloud Spanner を徹底解説!

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の片岩です。Google Cloud の Cloud Spanner について徹底解説します。Cloud Spanner は強整合性を持ちながらグローバルな負荷分散が可能なサ…