2024年11月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Eventarc Advanced が登場(Preview) Vertex AI Search で streaming answer メソッド(GA w…

「サービス アカウント キーの作成が無効になっています」への対処法

G-gen の杉村です。Google Cloud(旧称 GCP)で、サービスアカウントから認証キーを作成しようとした際に サービス アカウント キーの作成が無効になっています 組織ポリシーの制約「iam.disableServiceAccountKeyCreation」が組織に適用されています。 と表…

Pub/SubのCloud Storage import topicを使ってみた

G-gen の杉村です。Pub/Sub の Cloud Storage インポートトピック(Cloud Storage import topic)を使うと、事前に指定した Cloud Storage バケットに Put されたテキストオブジェクトを、ノーコードで Pub/Sub トピックにパブリッシュし、簡単に Pub/Sub サ…

Associate Data Practitioner試験対策マニュアル

G-genの杉村です。Google Cloud(旧称 GCP)の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソー…

Cloud Load Balancingのアクセスログとクエリのサンプル

G-gen の杉村です。2024年10月現在で利用可能な12種類の Cloud Load Balancing のアクセスログは、それぞれフォーマットが異なります。アクセスログをクエリするための Cloud Logging クエリと、アクセスログのサンプルを掲載します。 はじめに アクセスログ…

Google CloudのIAMで最小権限の原則を実現する方法

G-gen の杉村です。当記事では、Google Cloud の IAM(Identity and Access Management)で最小権限の原則を実現するための手段をご紹介します。 IAM と最小権限の原則 過剰な権限を予防する IAM の仕組みを正確に理解する IAM 権限を操作できる人を限定する…

2024年10月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Gemini で Dynamic retrieval が GA BigQuery コンソールで Airflow の DAG が管理できるよう…

Associate Google Workspace Administrator試験対策マニュアル

G-genの杉村です。Google Cloud(旧称 GCP)の認定資格である Associate Google Workspace Administrator 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Google Workspace Administrator とは 難易度 出題傾向 試験対策 ユーザーアカウ…

複数プロジェクトのCloud SQLインスタンスをリストするbashスクリプト

G-gen の杉村です。複数の Google Cloud プロジェクトの Cloud SQL インスタンスの情報一覧を取得する bash スクリプトを紹介します。 はじめに 概要 前提条件 免責事項 ソースコード 出力例 実行方法 入力ファイルの準備 スクリプトの実行 応用 はじめに 概…

Compute Engineのスナップショット、マシンイメージ、カスタムイメージの違い

G-gen の杉村です。Google Cloud の仮想サーバーサービスである Compute Engine には、スナップショット、マシンイメージ、カスタムイメージというよく似た3つの機能があります。それらの違いと、ユースケースをご説明します。 はじめに マシンの状態を保存…

Gemini アプリとGoogle VidsがGoogle Workspaceコアサービスに

G-gen の杉村です。2024年末、Google の生成 AI 系サービスである Gemini アプリ(英名 Gemini app、旧 Bard)と Google Vids が、Google Workspace のコアサービスになります。 はじめに スケジュール 用語の解説 Gemini アプリ(Gemini app) Google Vids …

2024年9月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年9月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Cloud Run の Deterministic URL が Preview → GA BigQuery の VECTOR_SEARCH() と vector ind…

Cloud Asset Inventoryを徹底解説!

G-genの杉村です。Google Cloud(旧称 GCP)のリソースインベントリサービスである Cloud Asset Inventory を解説します。 Cloud Asset Inventory とは 料金 用語 アセット アセットタイプ アセット関係 フィード エクスポート 代表的なユースケース アセッ…

複数プロジェクトのVMをリストするbashスクリプト

G-gen の杉村です。複数の Google Cloud プロジェクトの Compute Engine VM の情報一覧を取得する bash スクリプトを紹介します。 はじめに 概要 前提条件 免責事項 ソースコード 出力例 実行方法 入力ファイルの準備 スクリプトの実行 応用 はじめに 概要 …

特定組織の全プロジェクトをリストするbashスクリプト

G-gen の杉村です。特定の Google Cloud 組織配下にあるすべてのプロジェクトを取得する bash スクリプトを紹介します。 はじめに 概要 前提条件 免責事項 ソースコード 出力例 実行方法 入力情報の準備 スクリプトの実行 ソースコードの説明 注意点 はじめ…

BigQueryのストレージ料金を解説

G-genの杉村です。Google Cloud(旧称 GCP)のフルマネージドなデータウェアハウスサービスである BigQuery の、ストレージ料金体系について解説します。 BigQuery の課金体系 2つの課金モデル 論理ストレージ(Logical Storage)課金 物理ストレージ(Physi…

Ads Data Hubの初期セットアップとハマりどころ

G-genの杉村です。Google Cloud(旧称 GCP)のサービスではありませんが、Google 関連サービスである Ads Data Hub の初期セットアップについて、簡単に紹介します。 はじめに Ads Data Hub とは 2 つのモード アカウント開設の前提条件 Google アカウント G…

2024年8月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年8月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud Next Tokyo '24 で新発表 Python SDK で API コールなしで Gemini のトークン数…

BigQuery の継続的クエリ(Continuous queries)を解説

G-gen の杉村です。BigQuery の継続的クエリ(Continuous queries)機能を使うと、事前定義した SQL ステートメントが継続的に実行され、リアルタイムなデータ変換やリバース ETL が容易に実現できます。当記事では継続的クエリの使い方を紹介します。 概要 …

BigQuery の Short query optimized mode(短いクエリの最適化モード)を解説

G-gen の杉村です。当記事では、BigQuery の Short query optimized mode(短いクエリの最適化モード)について解説します。 概要 Short query optimized mode とは 利用方法 仕様 検証 確認する内容 手順 測定方法 結果と考察 データサイズごとの最適化適用…

Cloud Storageの課金仕様に関する3つの変更(2024年9月から)

G-gen の杉村です。2024年9月から2025年2月にかけて、Cloud Storage に関係する課金額が変動する可能性があるため、その詳細と対応策について紹介します。 概要 Cloud Storage の soft delete 機能の無料期間終了 解説 対策 Compute Engine から Cloud Stora…

Google Cloud Next Tokyo '24 速報レポート(キーノート・2日目)

G-gen の杉村です。当記事では、Google Cloud Next Tokyo '24 のキーノート(2日目)に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧からご覧いただけます。 概要 Google Cloud …

Google Cloud Next Tokyo '24 速報レポート(キーノート・1日目)

G-gen の杉村です。当記事では、Google Cloud Next Tokyo '24 のキーノート(1日目)に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next Tokyo '24 の関連記事は Google Cloud Next Tokyo '24の記事一覧からご覧いただけます。…

2024年7月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年7月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 新サービス「Dataplex Catalog」が公開(GA) Cloud Monitoring アラートポリシーの有償化 Goo…

Google Cloud VMware Engine(GCVE)を徹底解説!

G-gen の杉村です。VMware 資産を Google Cloud へリフトするにあたり重要な選択肢となる、Google Cloud VMware Engine(GCVE)を解説します。 概要 Google Cloud VMware Engine(GCVE)とは VMware ライセンス メリット 基本的な構成 ノード数と PoC 他社の…

2024年6月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年6月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに BigQuery の Slot Recommender が Preview => GA Cloud SQLでメンテナンスの最大5週間前に通知…

Google Cloud組織の組織IDや顧客IDを調べる方法

G-genの杉村です。Google Cloud(旧称 GCP)で、組織の「組織 ID」や「顧客 ID」を調べる方法について紹介します。 組織 ID、顧客 ID とは 組織 ID の確認方法 プロジェクトセレクタで確認する Resource Manager 管理画面 gcloud コマンド 顧客 ID の確認方…

2024年5月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年5月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに AppSheet の Organization(組織)機能が使えるように BigQuery で Managed disaster recovery…

Google CloudとGCP、どっちが正しい?

G-gen の杉村です。Google Cloud と GCP(Google Cloud Platform)、どちらの呼び名が正しいの?という疑問をよくお聞きします。結論からいうと、正式名称は Google Cloud です。 正式名称は「Google Cloud」 GCP と呼んではいけないの? Google Cloud と Go…

Google Cloudにおける負荷テスト

G-gen の杉村です。Google Cloud における負荷テスト(負荷試験)について、参考情報をご紹介します。当記事では、負荷テストの手順や試験設計に関する Tips 等ではなく、Google Cloud において負荷テストをする場合の考慮点や関連ドキュメントをご紹介しま…

Cloud Storageバケット名を知っていれば、EDoS攻撃を仕掛けられるのか?

G-gen の杉村です。Amazon Web Services(AWS)の Amazon S3 に対する EDoS 攻撃の手法が話題になりました。同様に、Cloud Storage バケット名を知っていれば、EDoS 攻撃を仕掛けられるのでしょうか? 背景 記事の内容と課金の原因 Cloud Storage では未認証…

2024年4月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年4月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに BigQuery で history-based optimizations が Preview 公開 Security Command Center で Enter…

DEI Keynote: Innovation with intention(Google Cloud Next '24セッションレポート)

G-gen の杉村です。本記事は Google Cloud Next '24 in Las Vegas の2日目に行われたセッション「DEI Keynote: Innovation with intention」のレポートです。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧い…

Google Cloud Next '24 in Las Vegas 速報レポート(総括)

G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas の総括(総評と、注目すべきアップデートのご紹介)をお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧い…

Google Cloud Next '24 in Las Vegas 速報レポート(キーノート・2日目)

G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas のキーノート(2日目)に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけま…

Google Cloud Next '24 in Las Vegas 速報レポート(キーノート・1日目)

G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas のキーノート(1日目)に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけま…

2024年3月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年3月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 放置プロジェクトに対する推奨事項が表示 AlloyDB AI が Preview => GA BigQuery で Amazon S3…

サービスアカウントキーの漏洩検知・自動無効化を試してみた

G-gen の杉村です。Google Cloud では、「サービスアカウントキーの漏洩レスポンス(Service account key exposure response)」という組織ポリシーの制約により、サービスアカウントキーがパブリックな Git レポジトリ等に漏洩した場合でも、自動的に検知さ…

BigQuery Data Transfer Serviceのデータセットコピーを解説

G-gen の杉村です。当記事では、BigQuery Data Transfer Service で提供される、データセットコピー機能を解説します。 BigQuery Data Transfer Service とは データセットコピー機能とは ユースケース 認証・認可 データ転送の挙動 注意点 ストレージ料金 …

2024年2月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年2月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Meet で参加者全員向けに画面のピン留めができるように Cloud Logging から Cloud Storage へ…

Pub/SubのBigQueryサブスクリプションを使ってみた

G-gen の杉村です。Pub/Sub の BigQuery サブスクリプションを使うと、Pub/Sub に対して発行したメッセージを簡単に BigQuery テーブルに書き込むことができます。 前提知識 BigQuery サブスクリプションとは スキーマ テーブルの作成 Pub/Sub トピックの作…

Personalized Service Healthを徹底解説

G-gen の杉村です。Personalized Service Health は、Google Cloud の障害を特定、通知するサービスです。このサービスについて、徹底解説します。 Personalized Service Health とは 対応プロダクト インシデント インシデントとは Relevance(影響度) 有…

2024年1月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2024年1月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに GmailへのDMARC設定方法 BigQuery に Document AI が統合 Google Cloud、解約時のデータの外部…

BigQueryのスナップショットとクローンを解説

G-gen の杉村です。BigQuery にはスナップショットとクローンと呼ばれる機能があり、ストレージ料金を節約しつつテーブルを瞬時に複製することができます。これらの機能について解説します。 スナップショットとクローン スナップショットとは / クローンと…

Gemini Proを使ってみた。Googleの最新生成AIモデル

G-genの杉村です。Google の提供する最新の生成 AI モデルである Gemini は、Google Cloud 環境をお持ちであれば、すぐに試してみることができます。Gemini Pro の使い方を簡単にご紹介します。 はじめに Gemini とは Gemini Pro の試用 料金 Gemini Pro の…

GmailへのDMARC設定方法。メール送信者ガイドラインに準拠する

2024年2月1日以降、個人用の Gmail アカウントに対してメールを配信する送信者に対し、新しいメール送信者ガイドラインを適用することが発表されました。その要件の1つである DMARC の Gmail への設定方法について紹介します。 送信者ガイドライン 送信者ガ…

2023年12月のイチオシGoogle Cloudアップデート

G-gen の杉村です。2023年12月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに PaLM 2 の Unicorn サイズのモデルが公開(GA) Generative AI on Vertex AI でグラウンディ…

組織にMy First Projectが大量発生!その原因と対処とは

G-gen の杉村です。この記事にたどり着いた方は、もしかしたら自社の Google Cloud(旧称 GCP)の組織に My First Project という名前のプロジェクトが大量発生していることに気がついた方かもしれません。当記事ではその原因と、対処法をご紹介します。 事…

BigQueryの列レベル暗号化(Cloud KMS利用)を解説

G-gen の杉村です。BigQuery では、Cloud KMS で管理する暗号鍵を使って、列レベルの暗号化を行うことができます。その仕組みと方法を解説します。 BigQuery における暗号化 ストレージ暗号化とは 列レベル暗号化とは 権限と読取可能性 暗号化方式 AEAD 暗号…

クラウド料金の見積もり方法を解説!

G-gen の杉村です。当記事では Google Cloud(旧称 GCP)をベースに、クラウド料金の見積もり方法・試算方法を徹底解説します。 はじめに 3つの性質 1. 従量課金 2. 月次請求 3. 変動する 試算方法 料金ページ 料金試算ツール リセールパートナーを頼る 割引…