G-gen の佐藤です。当記事では、BigQuery から外部ストレージを参照する2つの構成、従来の外部テーブルと BigLake テーブルの違いを検証した結果を紹介します。 はじめに BigLake とは 検証方法 検証環境の構築 Cloud Storage 外部テーブルと BigLake テーブ…

Google Cloud のオブジェクトストレージサービスである Cloud Storage において、見落とされがちなのがレプリケーション料金です。当記事では、ロケーションタイプの選択による料金スパイクの事象と、リージョン間レプリケーション料金の仕組み、ロケーショ…

G-gen の min です。データポータル（英名 Data Studio、旧称 Looker Studio）で Cloud Storage 上の非公開画像を扱う際に、BigQuery の EXTERNAL_OBJECT_TRANSFORM 関数を利用して署名付き URL を生成する方法があります。本記事ではその具体的な手順と、複…

G-gen の西田です。Cloud Storage にアップロードした CSV ファイルをデータソースとして、自動で更新されるデータポータル（英名 Data Studio、旧称 Looker Studio）レポートを作成する手順を解説します。 はじめに 当記事の概要 構成図 サンプルデータの内…

G-gen の山崎です。 当記事では、Cloud Run jobs を使用して Google Drive の差分を検知し、差分ファイルを Cloud Storage にアップロードする方法を解説します。 システム構成 前提知識 環境構築 API の有効化 サービスアカウントの構築 Cloud Run jobs 用…

G-genの福井です。Cloud Storage バケットへのアクセスを送信元 IP アドレスに基づいて制御する IP フィルタリング機能の概要と設定方法、そして VPC Service Controls との違いについて解説します。 はじめに Cloud Storage の IP フィルタリングとは 機能…

G-genの福井です。BigQuery Data Transfer Service のイベントドリブン機能の設定手順を紹介します。 イベントドリブン転送の概要 BigQuery Data Transfer Service とは ユースケース アーキテクチャ 制限事項 料金 事前準備 API の有効化 サービスアカウン…

G-gen の道下です。本記事は Google Cloud Next '25 in Las Vegas の 1日目に行われたブレイクアウトセッション「What’s new with Cloud Storage」のレポートです。 他の Google Cloud Next '25 の関連記事は Google Cloud Next '25 カテゴリの記事一覧から…

G-gen の杉村です。料金が安くなることを期待して Cloud Storage オブジェクトのオブジェクトクラス変更を実施したところ、料金が安くなるどころか逆に高くなってしまいました。この事象の原因と、対処方法をご共有します。 事象 原因 対処法 検証（手動でス…

G-gen の山崎です。 当記事では、Cloud Storage に格納されたテキストファイルに対して、Cloud Run functions にてVertex AI Gemini API を呼び出し、取得したテキストの要約結果を BigQuery に保存する処理を構築したので解説します。 システム構成 前提知…

G-gen の杉村です。2024年9月から2025年2月にかけて、Cloud Storage に関係する課金額が変動する可能性があるため、その詳細と対応策について紹介します。 概要 Cloud Storage の soft delete 機能の無料期間終了 解説 対策 Compute Engine から Cloud Stora…

G-genの山崎です。 Google Cloud (旧称 GCP) の Cloud Storage でフォルダ単位での権限管理が可能となるマネージドフォルダを用いた権限管理方法について、解説します。 Cloud Storage とは フォルダを用いたオブジェクトの管理 シミュレートされたフォルダ…

G-gen の杉村です。Amazon Web Services（AWS）の Amazon S3 に対する EDoS 攻撃の手法が話題になりました。同様に、Cloud Storage バケット名を知っていれば、EDoS 攻撃を仕掛けられるのでしょうか？ 背景 記事の内容と課金の原因 Cloud Storage では未認証…

Looker Studio で IMAGE 関数を利用して Cloud Storage 上の画像を表示させようとしたとき、画像が表示されない場合の原因と対処法を紹介します。 注意 当記事に記載の事象と原因は、2024年10月29日のアップデートで対処が行われ、発生しなくなりました。当…

G-genの山崎です。 Google Cloud (旧称 GCP) のCloud Storageのバージョニング・ライフサイクル管理設定について、代表的なユースケースを用いて解説します。 Cloud Storage とは バージョニング ライフサイクル管理 バージョニング・ライフサイクル管理設定…

G-gen の佐々木です。当記事では Cloud Run で Cloud Storage バケットをボリュームマウントする方法を解説します。 前提知識 Cloud Run とは Cloud Storage（GCS）とは ネイティブ機能によるマウント Cloud Storage バケットの作成 バケットにテキストファ…

G-genの田中です。当記事では、Cloud Storage を利用する中で、意図していない高額の請求が発生してしまった事例について解説していきます。 はじめに 背景 Cloud Storage とは Cloud Storage の料金 Storage Transfer Service とは 事件のあらまし 背景 落…

G-gen の佐々木です。当記事では Cloud Run で Cloud Storage FUSE を使用して、オブジェクトストレージである Cloud Storage のバケットをコンテナ内のディレクトリにマウントしてみます。 前提知識 Cloud Run とは Cloud Storage（GCS）とは Cloud Storage…

G-gen の杉村です。Pub/Sub の Cloud Storage サブスクリプション機能を実際に使ってみて、その細かい仕様を確認してみました。 はじめに 試したこと 前提知識 Cloud Storage バケットの作成 Pub/Sub サービスエージェントに権限付与 サービスエージェントと…

G-gen の杉村です。当記事では、AWS Lambda のサーバーレス関数から Google Cloud の Cloud Storage にファイルをアップロードする方法をご紹介します。認証・認可には Workload Identity を利用します。 はじめに 検証の概要 留意事項 構成 AWS から Google…

Cloud Storage を gcloud storage コマンドで操作する方法についてご紹介いたします。

G-gen の杉村です。Google Cloud（旧称 GCP）の Cloud Run functions（第2世代）を使い、Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Run functions Cloud Storage トリガの Cl…

今回は Eventarcトリガーを利用して、Cloud Storage のファイルメタデータを BigQuery へ格納してみました。 概要 作成するもの Eventarcとは？ Cloud Strage の準備 Cloud Storage トリガーとは Cloud Storage サービス アカウントへの権限付与 ファイルア…

G-gen の杉村です。 パブリッククラウドとして提供されるオブジェクトストレージの二大巨頭、 Cloud Storage (Google Cloud) と Amazon S3 (AWS) を比較してみました。 非常によく似ているサービスですが、どのような違いがあるのでしょうか。 Cloud Storage…

G-genの杉村です。当記事では、Google Cloud の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。各用語の意味や料金、セキュリティに関する仕様について解説します。 概要 Cloud Storage とは オブジェクトス…