BigQueryを徹底解説!(応用編)

G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方はまずは基本編の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テ…

Google Cloudで理解する疎結合アーキテクチャとメッセージングサービス

G-gen の杉村です。Google Cloud (旧称 GCP) で Pub/Sub を中心とした疎結合アーキテクチャについて解説します。 はじめに 疎結合アーキテクチャとは 非同期処理 同期と非同期 同期処理 非同期処理 疎結合アーキテクチャと非同期処理 メリット メッセージン…

BigQueryを徹底解説!(基本編)

G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバー…

ログシンク作成時に「適切な権限を付与できませんでした」

G-gen の杉村です。組織の集約ログシンクを作成する際に「適切な権限を付与できませんでした」というメッセージが出力されました。原因と対処法を紹介します。 はじめに・前提知識 事象 原因調査 調査 判明した原因 詳細な原因 対処法 概要 1. 顧客 ID の確…

プロキシ経由でgcloudコマンドが失敗。サービスアカウントが使えない

G-gen の杉村です。Compute Engine の VM で Squid 等の HTTP プロキシサーバ経由でインターネットへ出るような構成を取った際、gcloud コマンドが不可解なエラーメッセージと共に失敗しました。今回はその事象と、解決方法をご紹介します。 事象 やろうとし…

Google Cloudの組織(Organization)を徹底解説

G-gen の杉村です。Google Cloud (旧称 GCP) には組織 (Organization) という概念があります。ガバナンスとセキュリティのために重要なこの機能を解説します。 組織の基本 組織 (Organization) とは リソースの階層構造 組織リソース 組織 ID(顧客 ID) フ…

Google Cloud サービスカット学習コンテンツ集

Google Cloud (旧称 GCP) の 学習に役立つオンラインコンテンツ をサービスカットや分野別でまとめました。Google Cloud の基本的な学習のほか、資格取得にも役立つコンテンツ集となっておりますので、お役立てください。 はじめに Google Cloud 全般 課金・…

AWS LambdaからCloud Storage(GCS)にファイルをアップロードする

G-gen の杉村です。当記事では、AWS Lambda のサーバーレス関数から Google Cloud (旧称 GCP) の Cloud Storage (GCS) にファイルをアップロードする方法をご紹介します。認証・認可には Workload Identity を利用します。 はじめに 検証の概要 留意事項 構…

AlloyDB for PostgreSQLを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の PostgreSQL 互換のフルマネージドサービスである AlloyDB for PostgreSQL について解説します。 概要 AlloyDB とは サービスの位置づけ PostgreSQL との互換性 料金 無料トライアル アーキテクチャ クラスタ …

BigQueryの料金体系(BigQuery Editions)を徹底解説

G-genの杉村です。Google Cloud (旧称 GCP) のフルマネージドなデータウェアハウスサービスである BigQuery の新しい料金体系「BigQuery Editions」が 2023年3月29日に発表され、2023年7月5日に施行されました。当記事ではその仕組みと、従来の料金体系との…

Cloud Workflowsを徹底解説

G-genの杉村です。Google Cloud (旧称 GCP) のジョブ自動化サービスである Cloud Workflows(または単に Workflows)を解説します。 概要 Cloud Workflows とは ユースケース 料金 課金の仕組み 内部ステップと外部ステップ ワークフロー定義 定義の基本 ラ…

Cloud NGFW Standardの通信制御オブジェクトを解説!

G-gen の杉村です。Google Cloud(旧称 GCP)の VPC では、備え付きのファイアウォール機能である Cloud Next Generation Firewall(Cloud NGFW)が利用できます。そのうち ファイアウォールポリシー (Firewall policies)で利用可能な Cloud NGFW Standard…

Managed Service for Microsoft Active Directoryを徹底解説

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) のサービスである Managed Service for Microsoft Active Directory (マネージド Microsoft AD) をご紹介したいと思います。 Managed Service for Microsoft Active Directory 概要 Managed Microsoft…

Google Cloudの根幹を成すGoogle Cloud APIsとは何か

G-gen の杉村です。Google Cloud は Google Cloud APIs と呼ばれる Web API 群によって成り立っています。仕組みを理解すると、Google Cloud というパブリッククラウドサービス全体への理解が深まります。 Google Cloud APIs とは API 設計 設計ガイド リソ…

Private Service Connect でマネージドサービスを公開する

G-gen の杉村です。Private Service Connect は Google Cloud API やユーザー独自で公開するサービスにプライベート接続を提供するサービスです。当記事では、Private Service Connect を使って独自サービスを公開する方法をご紹介します。 概要 Private Ser…

サービスアカウントキーの作成が失敗。メッセージは「不明なエラーです」のみ

G-gen の杉村です。ある Google Cloud 組織でサービスアカウントキーを発行しようとしたところ 不明なエラーです。 というメッセージと共に作成が失敗した事象が起きました。原因と対策を紹介します。 事象 調査 サービスアカウントキー作成の失敗ログ 同時…

VM Managerを徹底解説!

G-gen の杉村です。Compute Engine インスタンス群を管理・運用するための機能である VM Manager について徹底解説します。 VM Manger とは 料金 Patch Patch とは パッチ コンプライアンス レポート パッチデプロイ 概要 パッチ適用タイミング 対象 VM の指…

サービスエージェントとは何か

G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud IAM には サービスエージェント という仕組みがあります。これについて解説します。 概要 サービスエージェントとは サービスエージェントとサービスアカウントの違い Compute Engine (GCE) 概要 用途 …

Cloud Loggingログバケットの課金開始(2023年4月1日から)

G-gen の杉村です。これまで料金の掛かっていなかった「Cloud Logging ログバケットのログ保存料金」の課金が、2023年4月1日から開始されます。(当記事は2022年11月22日に執筆され、2023年2月27日に更新されました。) 概要と経緯 課金開始が2023年4月1日から…

Compute Engine の SSH 接続方法についてのまとめ

G-gen の杉村です。Compute Engine で起動した Linux VM に SSH ログインするにはいくつかの方法があり、それぞれネットワーク的な考慮点が異なるため、整理しました。 Compute Engine VM への SSH 接続について コンソールの SSH ボタン 概要 インターフェ…

PythonでGoogle Calendar APIを呼び出す方法

G-gen の杉村です。 Cloud Functions で動作する Python プログラムから Google Calendar API を呼び出す方法をご紹介します。 検証内容 プログラムの内容 Google API への認証 検証の流れ Google Calendar API 有効化 サービスアカウント作成・設定 サービ…

Cloud KMSを徹底解説

G-gen の杉村です。Google Cloud の鍵管理サービスである Cloud KMS (Cloud Key Management Service) を徹底解説します。 Cloud KMS とは Cloud KMS の料金 デフォルト暗号化と CMEK デフォルトの暗号化 顧客管理の鍵 (CMEK) 透過的な暗号化 Key と Key ring…

Looker Studio Pro を徹底解説!

G-gen 杉村です。Google Cloud の無償 BI ツール Looker Studio の有償版である Looker Studio Pro について解説します。 概要 Looker Studio Pro とは できること 利用開始 サブスクリプション 利用開始手順 注意点とトラブルシューティング アセット ワー…

Compute EngineのWindows Serverでライセンス認証エラー(0xC004F074)

Google Cloud (旧称 GCP) の仮想サーバーサービスである Compute Engine では Windows Server を起動することができます。 Windows Server の VM で、ライセンス認証に関するエラーが出たときの対処方法をご紹介します。 事象 考えられる原因 対処方法 1. ル…

タグとラベルの違いについて (Tags / Labels)

G-gen の杉村です。 Google Cloud (旧称 GCP) のタグ (Tags) とラベル (Labels) の違いについて解説します。 タグとラベル タグとラベルの概要 利用例 タグとラベルの違い 比較表 リソースとしての扱い IAM や組織ポリシーでの利用 IAM 組織ポリシー 課金管…

TerraformをGoogle Cloudで使ってみた

G-gen の杉村です。 Infrastructure as Code (IaC) を実現する Terraform を Google Cloud (旧称 GCP) で使ってみました。 Terraform Terraform とは 使ってみる Cloud Shell Terraform コマンドの確認 ファイル作成 エディタでの編集 Terraform 初期化 確認…

Cloud StorageトリガでCloud Functions(2nd gen)を動かしてみた

G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud Functions (第2世代) を使い Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Functions Cloud Storage トリガの Cloud Funct…

Cloud Functions(Python)のログをCloud Loggingへ連携する

G-gen の杉村です。 Cloud Functions で Python プログラムを動作させる際に、ログをどのように扱い、出力させればよいかについてご紹介します。 Cloud Functions のログ出力 標準出力と標準 logger Cloud Logging ライブラリ ライブラリのインストール サン…

External Application Load Balancer (外部アプリケーションロードバランサ) を徹底解説!

G-gen の杉村です。 Google Cloud (旧称 GCP) の強力なネットワーク・インフラ系サービスである External Application Load Balancer (外部アプリケーションロードバランサ) について解説します。 サービスの概要 Cloud Load Balancing とは ロードバランサ…

Professional Cloud Database Engineer試験対策マニュアル

G-genの杉村です。Google Cloud (旧称 GCP) の認定資格である Professional Cloud Database Engineer 資格の試験対策に有用な情報を記載します。 基本的な情報 Professional Cloud Database Engineer とは 難易度 出題傾向 試験対策 Cloud SQL 基本的な知識 …

Cloud SQLを徹底解説!

G-gen の杉村です。 Google Cloud (旧称 GCP) のマネージドの RDBMS サービスである Cloud SQL について徹底的に解説します。 Cloud SQL とは 料金 Cloud SQL の料金 確約利用割引 Cloud SQL Studio Cloud SQL Studio とは Gemini in Database インスタンス …

BigQueryのテーブル識別子で構文エラー(テーブル名はバッククォートで囲むべきか)

事象 原因 解説 SQL における BigQuery のテーブル名の指定 バッククォートの要否 対策 対症療法 原則 事象 BigQuery で 標準 SQL を実行しようとした際に以下のエラーが発生した。 エラーメッセージで示された該当箇所は、テーブル名の指定であり、一見して…

組織のポリシーを解説

G-gen の杉村です。 Google Cloud (旧称 GCP) には 組織のポリシー 機能があり、企業や官公庁など、組織における Google Cloud 利用に統制を効かせることができます。当記事では組織のポリシーを徹底解説します。 組織のポリシーとは 仕組み 制約 (constrain…

Compute Engineを徹底解説!(応用編)

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の仮想マシンサービスである Compute Engine を徹底解説します。当記事は、先日公開した「 基本編 」に続く「応用編」です。 基本編の記事 サービスアカウントとアクセススコープ サービスアカウント…

Cloud Workflowsで簡易的なデータパイプラインを構築してみる

G-gen の杉村です。 Google Cloud (旧称 GCP) には Cloud Workflows という簡易的なワークフローツールがあります。今回の記事は Cloud Workflows を使った簡易的なデータパイプラインの構築方法をご紹介します。 はじめに Cloud Workflows とは 関連記事 こ…

Preview版のサービスを使うとはどういうことなのか

G-genの杉村です。 Google Cloud (旧称 GCP) では新機能やプロダクトが「Preview (プレビュー)」版などとしてリリースされることがあります。 これが何を意味しているのか解説します。 プロダクトのリリースステージ プレビュー版は何が問題なのか 規約の違…

pandasでBigQueryのデータを操作する方法 (基本編)

G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとし…

Professional Cloud DevOps Engineer試験対策マニュアル

G-gen の杉村です。 Google Cloud (旧称 GCP) の認定資格の一つである Professional Cloud DevOps Engineer 試験の対策や出題傾向について解説します。合格の助けになれば幸いです。 Professional Cloud DevOps Engineer 基本的な情報 Professional Cloud De…

BigQuery「承認されたビュー」と「承認されたデータセット」

G-gen の杉村です。 Google Cloud (旧称 GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデー…

Google CloudのVPCを徹底解説!(応用編)

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。今回は 基本編 に続く 応用編 の記事となります。 基本編へのリンク VPC 間・サブネット間の通信 同一 VPC 内のサブネット間通信 VPC 間の通…

Google CloudのVPCを徹底解説!(基本編)

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。なお当記事は VPC の基本機能に絞った 基本編 であり 応用編 も続けてご確認ください。 Virtual Private Cloud (VPC) とは ネットワークとサ…

ChromebookからIAP経由でCompute EngineのWindows ServerへRDPする方法

G-gen の杉村です。Chromebook (Chrome OS) から Cloud IAP のトンネリング機能を使い、 Compute Engine の Windows Server へリモートデスクトップ (RDP) する方法について紹介します。 なお IAP による VM への接続自体が何か、ということについては、以下…

Professional Google Workspace Administrator試験対策マニュアル

G-gen の杉村です。 Google Cloud (GCP) 認定試験の一つである Professional Google Workspace Administrator 試験 (旧称 Professional Collaboration Engineer) は、 Google の提供するグループウェアである Google Workspace の専門知識を問う試験です。当…

BigQuery Reservations(flat-rate pricing)を解説

G-gen の杉村です。当記事は「BigQuery Reservation (Flat-rate pricing)」について説明する記事です。 注意 : BigQuery の料金体系について 当記事で解説されている「BigQuery Reservation (Flat-rate pricing)」は 2023/07/05 で販売が終了 し、以後は Big…

Professional Cloud Developer試験対策マニュアル

G-gen の杉村です。 Google Cloud(旧称 GCP)におけるアプリケーション開発者向けの認定資格である Professional Cloud Developer 試験の勉強方法や出題傾向など、合格に向け役立つ情報をご紹介します。 Professional Cloud Developer 試験情報 Professiona…

BigQueryのSearch Indexを解説

G-gen の杉村です。 BigQuery の Search Index 機能が 2022年4月7日にプレビュー公開、2022年10月27日に GA されました。BigQuery に対する特定文字列の検索を高速化する当機能を解説します。 BigQuery Search Index の基本 BigQuery Search Index とは ユー…

BigQueryの列レベル・行レベルのセキュリティを解説

G-genの杉村です。 BigQueryでは 列レベル および 行レベル でアクセスポリシーを設定し、アクセス制限を行うことができます。この機能について解説します。 BigQuery 列レベルのセキュリティ 列レベルのセキュリティとは 分類 (Taxonomy) とポリシータグ 制…

Cloud Storage (Google Cloud)とAmazon S3を比較してみた

G-gen の杉村です。 パブリッククラウドとして提供されるオブジェクトストレージの二大巨頭、 Cloud Storage (Google Cloud) と Amazon S3 (AWS) を比較してみました。 非常によく似ているサービスですが、どのような違いがあるのでしょうか。 Cloud Storage…

Cloud Storage(GCS)を徹底解説

G-genの杉村です。Google Cloud(旧称 GCP)の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 …

Professional Cloud Network Engineer試験対策マニュアル

G-genの杉村です。 Professional Cloud Network Engineer は Google Cloud (旧称 GCP) のプロフェッショナルレベルの認定資格の一つです。 Google Cloud のネットワーク系サービスや専用線・ VPN 等に関する高度な知識を確認する難関試験です。 当記事では合…