Pub/SubのBigQueryサブスクリプションを使ってみた

G-gen の杉村です。Pub/Sub の BigQuery サブスクリプションを使うと、Pub/Sub に対して発行したメッセージを簡単に BigQuery テーブルに書き込むことができます。 前提知識 BigQuery サブスクリプションとは テーブルスキーマの利用 テーブルの作成 Pub/Sub…

Personalized Service Healthを徹底解説

G-gen の杉村です。Personalized Service Health は、Google Cloud の障害を特定、通知するサービスです。このサービスについて、徹底解説します。 Personalized Service Health とは 対応プロダクト インシデント インシデントとは Relevance(影響度) 有…

2024年1月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年1月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに GmailへのDMARC設定方法 BigQuery に Document AI が統合 Google Cloud、解約時のデータの外部…

BigQueryのスナップショットとクローンを解説

G-gen の杉村です。BigQuery にはスナップショットとクローンと呼ばれる機能があり、ストレージ料金を節約しつつテーブルを瞬時に複製することができます。これらの機能について解説します。 スナップショットとクローン スナップショットとは / クローンと…

Gemini Proを使ってみた。Googleの最新生成AIモデル

G-genの杉村です。Google の提供する最新の生成 AI モデルである Gemini は、Google Cloud 環境をお持ちであれば、すぐに試してみることができます。Gemini Pro の使い方を簡単にご紹介します。 はじめに Gemini とは Gemini Pro の試用 料金 Gemini Pro の…

GmailへのDMARC設定方法。メール送信者ガイドラインに準拠する

2024年2月1日以降、個人用の Gmail アカウントに対してメールを配信する送信者に対し、新しいメール送信者ガイドラインを適用することが発表されました。その要件の1つである DMARC の Gmail への設定方法について紹介します。 送信者ガイドライン 送信者ガ…

2023年12月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2023年12月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに PaLM 2 の Unicorn サイズのモデルが公開(GA) Generative AI on Vertex AI でグラウンディ…

組織にMy First Projectが大量発生!その原因と対処とは

G-gen の杉村です。この記事にたどり着いた方は、もしかしたら自社の Google Cloud(旧称 GCP)の組織に My First Project という名前のプロジェクトが大量発生していることに気がついた方かもしれません。当記事ではその原因と、対処法をご紹介します。 事…

BigQueryの列レベル暗号化(Cloud KMS利用)を解説

G-gen の杉村です。BigQuery では、Cloud KMS で管理する暗号鍵を使って、列レベルの暗号化を行うことができます。その仕組みと方法を解説します。 BigQuery における暗号化 ストレージ暗号化とは 列レベル暗号化とは 権限と読取可能性 暗号化方式 AEAD 暗号…

クラウド料金の見積もり方法を解説!

G-gen の杉村です。当記事では Google Cloud(旧称 GCP)をベースに、クラウド料金の見積もり方法・試算方法を徹底解説します。 はじめに 3つの性質 1. 従量課金 2. 月次請求 3. 変動する 試算方法 料金ページ 料金試算ツール リセールパートナーを頼る 割引…

2023年11月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2023年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Duet AI が Cloud Logging のログを要約・説明 (GA) 復数の Duet AI 関連アップデート BigQue…

Google Cloud Next Tokyo '23速報レポート

G-gen の杉村です。2023/11/15から2023/11/16までの二日間、東京ビッグサイトにて4年ぶりの現地開催となる Google Cloud Next Tokyo '23 が開催されました。当記事ではその発表内容についてレポートします。 開催場所 展示内容 一日目 基調講演(キーノート…

Data Catalogを徹底解説!

G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が…

2023年10月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2023年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Looker Studio と BigQuery のさらなる統合 (Private Preview) Cloud SQL で異エディション間…

BigQueryでGROUP BY CUBE等を使ってみる

G-gen の杉村です。BigQuery の特殊な GROUP BY 構文である GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP について解説します。 はじめに GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP はじめに 2023年10月9日、BigQuery で以下の特殊な…

BigQueryのARRAYとSTRUCTを理解して使いこなす

G-gen の杉村です。BigQuery は通常の RDBMS と異なり分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 A…

Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法

G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して …

BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける)

G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り…

Compute EngineでActive Directoryを構成する際の留意点

G-gen の杉村です。Google Cloud (旧称 GCP) の Compute Engine で動作する Windows Server 2022 で Active Directory ドメインコントローラを構成する方法と、そのドメインコントローラに Windows Server を参加させる方法について整理したので、注意点を解…

Vertex AI Search and Conversationを徹底解説!

G-gen の杉村です。当記事では Google の生成 AI 技術を簡単に利用できる Vertex AI Search and Conversation (Preview 時代の旧称 : Generative AI App Builder または Gen App Builder) を解説します。 概要 Vertex AI Search and Conversation とは ユー…

Pub/SubのCloud Storageサブスクリプションを試してみた

G-gen の杉村です。Pub/Sub の Cloud Storage サブスクリプション機能を実際に使ってみて、その細かい仕様を確認してみました。 はじめに 試したこと 前提知識 Cloud Storage バケットの作成 Pub/Sub サービスエージェントに権限付与 サービスエージェントと…

Duet AI for Google Workspace をプレビューしてみた (Google Slides 編)

G-gen の杉村です。生成 AI を使って Google Workspace における業務をサポートする Duet AI for Google Workspace をプレビューしてみましたので、その機能の一部をご紹介します。今回は Google Slides 編です。 はじめに Duet AI for Google Workspace と…

Google Cloud Next '23 速報を日本語で解説(2&3日目)

G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。前回の記事では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start So…

Duet AI for Google Workspace をプレビューしてみた (Gmail 編)

G-gen の杉村です。生成 AI を使って Google Workspace における業務をサポートする Duet AI for Google Workspace をプレビューしてみましたので、その機能の一部をご紹介します。今回は Gmail 編です。 はじめに Duet AI for Google Workspace とは 当記事…

Google Cloud Next '23 速報を日本語で解説(1日目)

G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。当日は多くの Google Cloud / Google Workspace 関連の新機能や新サービスが発表されました。その全てではありませんが、重要な発表の…

Duet AI for Google Workspace をプレビューしてみた (Google Docs 編)

G-gen の杉村です。生成 AI を使って Google Workspace における業務をサポートする Duet AI for Google Workspace をプレビューしてみましたので、その機能の一部をご紹介します。今回は Google Docs 編です。 はじめに Duet AI for Google Workspace とは …

BigQueryのクロスリージョン・データセットレプリケーションを解説

G-gen の杉村です。BigQuery の可用性を高めるための クロスリージョン・データセットレプリケーション (Cross-region dataset replication) について解説します。 クロスリージョン・データセットレプリケーションとは 仕組み BigQuery の可用性 データのレ…

Filestoreを徹底解説。Google Cloudのマネージドなファイルサーバ

G-gen の杉村です。Google Cloud のマネージドなファイルサーバである Filestore を徹底解説します。 はじめに Filestore とは ユースケース 料金 ディスク容量 バックアップ ネットワーク コンポーネント イメージ図 インスタンス サービスティア サービス…

Network Intelligence Centerを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) 上のネットワークに対する可視性を高めるためのツールである Network Intelligence Center を紹介します。 Network Intelligence Center とは 接続テスト 概要 分析の仕組み テスト可能な通信 対応ノード 対応し…

Network Connectivity Centerを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の VPC やオンプレミス (専用線・VPN) ネットワークの間でハブアンドスポーク構成を実現するためのフルマネージドサービスである Network Connectivity Center をご紹介します。 概要 Network Connectivity Cente…

ログバケット作成時に「リクエストしたエンティティは見つかりませんでした」

G-gen の杉村です。Cloud Logging のログバケットを作成する際に リクエストしたエンティティは見つかりませんでした というメッセージが出力されました。原因と対処法を紹介します。 はじめに・前提知識 事象 原因調査 調査 判明した原因 対処法 はじめに・…

Google CloudのCloud Firewallを徹底解説!

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) においてアクセス制御のために利用する Cloud Firewall について徹底解説します。 概要 Cloud Firewall とは 2つの設定スコープ・3つの料金ティア 料金 料金ティア 階…

Cross-Cloud Interconnectを徹底解説!

G-gen の杉村です。当記事では、Google Cloud (旧称 GCP) と他のパブリッククラウドを専用線接続するサービスである Cross-Cloud Interconnect を詳細に解説します。 概要 Cross-Cloud Interconnect とは メリット 専用線サービス 対応クラウド 対応ロケーシ…

Connected SheetsとBigQueryで技術ブログのGA4アクセス解析をしている話

G-gen の杉村です。記事タイトル通り「Connected Sheets と BigQuery で技術ブログの GA4 アクセス解析をしている話」について、技術的な話題を中心にご紹介したいと思います。 はじめに 技術ブログと GA4 データ保持期間と BigQuery Connected Sheets の活…

BigQueryを徹底解説!(応用編)

G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方はまずは基本編の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テ…

Google Cloudで理解する疎結合アーキテクチャとメッセージングサービス

G-gen の杉村です。Google Cloud (旧称 GCP) で Pub/Sub を中心とした疎結合アーキテクチャについて解説します。 はじめに 疎結合アーキテクチャとは 非同期処理 同期と非同期 同期処理 非同期処理 疎結合アーキテクチャと非同期処理 メリット メッセージン…

BigQueryを徹底解説!(基本編)

G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバー…

ログシンク作成時に「適切な権限を付与できませんでした」

G-gen の杉村です。組織の集約ログシンクを作成する際に「適切な権限を付与できませんでした」というメッセージが出力されました。原因と対処法を紹介します。 はじめに・前提知識 事象 原因調査 調査 判明した原因 詳細な原因 対処法 概要 1. 顧客 ID の確…

プロキシ経由でgcloudコマンドが失敗。サービスアカウントが使えない

G-gen の杉村です。Compute Engine の VM で Squid 等の HTTP プロキシサーバ経由でインターネットへ出るような構成を取った際、gcloud コマンドが不可解なエラーメッセージと共に失敗しました。今回はその事象と、解決方法をご紹介します。 事象 やろうとし…

Google Cloudの組織(Organization)を徹底解説

G-gen の杉村です。Google Cloud (旧称 GCP) には組織 (Organization) という概念があります。ガバナンスとセキュリティのために重要なこの機能を解説します。 組織の基本 組織 (Organization) とは リソースの階層構造 組織リソース フォルダ・プロジェクト…

Google Cloud サービスカット学習コンテンツ集

Google Cloud (旧称 GCP) の 学習に役立つオンラインコンテンツ をサービスカットや分野別でまとめました。Google Cloud の基本的な学習のほか、資格取得にも役立つコンテンツ集となっておりますので、お役立てください。 はじめに Google Cloud 全般 課金・…

AWS LambdaからCloud Storage(GCS)にファイルをアップロードする

G-gen の杉村です。当記事では、AWS Lambda のサーバーレス関数から Google Cloud (旧称 GCP) の Cloud Storage (GCS) にファイルをアップロードする方法をご紹介します。認証・認可には Workload Identity を利用します。 はじめに 検証の概要 留意事項 構…

AlloyDB for PostgreSQLを徹底解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の PostgreSQL 互換のフルマネージドサービスである AlloyDB for PostgreSQL について解説します。 概要 AlloyDB とは サービスの位置づけ PostgreSQL との互換性 料金 アーキテクチャ クラスタ プライマリインス…

BigQueryの料金体系(BigQuery Editions)を徹底解説

G-genの杉村です。Google Cloud (旧称 GCP) のフルマネージドなデータウェアハウスサービスである BigQuery の新しい料金体系「BigQuery Editions」が 2023年3月29日に発表され、2023年7月5日に施行されました。当記事ではその仕組みと、従来の料金体系との…

Cloud Workflowsを徹底解説

G-genの杉村です。Google Cloud (旧称 GCP) のジョブ自動化サービスである Cloud Workflows(または単に Workflows)を解説します。 概要 Cloud Workflows とは ユースケース 料金 課金の仕組み 内部ステップと外部ステップ ワークフロー定義 定義の基本 ラ…

Cloud Firewall Standardの通信制御オブジェクトを解説!

G-gen の杉村です。Google Cloud (旧称 GCP) の VPC では、備え付きのファイアウォール機能である Cloud Firewall が利用できます。そのうち ファイアウォールポリシー (Firewall policy) で利用可能な Cloud Firewall Standard の通信制御機能について解説…

Managed Service for Microsoft Active Directoryを徹底解説

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) のサービスである Managed Service for Microsoft Active Directory (マネージド Microsoft AD) をご紹介したいと思います。 Managed Service for Microsoft Active Directory 概要 Managed Microsoft…

Google Cloudの根幹を成すGoogle Cloud APIsとは何か

G-gen の杉村です。Google Cloud は Google Cloud APIs と呼ばれる Web API 群によって成り立っています。仕組みを理解すると、Google Cloud というパブリッククラウドサービス全体への理解が深まります。 Google Cloud APIs とは API 設計 設計ガイド リソ…

Private Service Connect でマネージドサービスを公開する

G-gen の杉村です。Private Service Connect は Google Cloud API やユーザー独自で公開するサービスにプライベート接続を提供するサービスです。当記事では、Private Service Connect を使って独自サービスを公開する方法をご紹介します。 概要 Private Ser…

サービスアカウントキーの作成が失敗。メッセージは「不明なエラーです」のみ

G-gen の杉村です。ある Google Cloud 組織でサービスアカウントキーを発行しようとしたところ 不明なエラーです。 というメッセージと共に作成が失敗した事象が起きました。原因と対策を紹介します。 事象 調査 サービスアカウントキー作成の失敗ログ 同時…