BigQuery

BigQuery OmniでAmazon S3のデータをクエリしてみた

G-genの大津です。 Google Cloud (旧称 GCP) において Amazon S3 にあるデータを BigQuery に取り込む方法のひとつとして、BigQuery Omni があります。 BigQuery Omni を使うと、 Amazon S3 を外部データソースとして、 BigQuery からクエリを実行することが…

BigQuery「承認されたビュー」と「承認されたデータセット」

G-gen の杉村です。 Google Cloud (GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。 その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの…

BigQuery Reservations(flat-rate pricing)を解説

G-gen の杉村です。 BigQuery ではスキャン量に応じた従量課金である オンデマンド料金 と事前予約により固定料金となる BigQuery Reservation (Flat-rate pricing) が選択できます。当記事では後者について解説します。 BigQuery Reservations とは 用語 コ…

BigQueryのSearch Indexを解説

G-gen の杉村です。 BigQuery の Search Index 機能が 2022 年 4 月 7 日にプレビュー公開されました。 BigQuery に対する特定文字列の検索を高速化する当機能を解説します。 BigQuery Search Index の基本 BigQuery Search Index とは ユースケース 料金 制…

BigQueryの列レベル・行レベルのセキュリティを解説

G-genの杉村です。 BigQueryでは 列レベル および 行レベル でアクセスポリシーを設定し、アクセス制限を行うことができます。この機能について解説します。 BigQuery 列レベルのセキュリティ 列レベルのセキュリティとは 分類 (Taxonomy) とポリシータグ 制…

BigQueryのScheduled Queryでジョブ失敗を通知する3つの方法

G-gen の杉村です。 Google Cloud (旧称 GCP) のデータウェアハウスサービスである BigQuery には Scheduled Query という機能が存在します。この機能では、定期的に BigQuery 上で SQL を実行することができます。 前後関係や分岐のある複雑なジョブ管理は…

BigQueryのパーティションとクラスタリングについての解説

G-genの杉村です。 Google Cloud (GCP) の誇るデータウェアハウスサービスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。 それぞれの仕組みや使い分けを解説していきます。 パーティシ…

BigQueryのアクセス制御と権限設計を解説

こんにちは。G-genの杉村です。 BigQuery は Google Cloud (GCP) の優れたデータウェアハウスツールです。センシティブなデータを扱うこともあるでしょう。 そのような場合でも BigQuery は Cloud IAM の機能によりきめ細かい権限設定をすることができます。…

BigQuery新機能がNext '21で発表!まさかのインデックス機能、スナップショット、クローン...

G-gen の杉村です。 2021年10月12日〜から14日の日程で Google Cloud Next '21 が開催されています。 What's new with BigQuery というセッションの中で、 Google Cloud のデータウェアハウスサービスである BigQuery の新機能の数々が発表されました。 特に…