pandasでBigQueryのデータを操作する方法 (基本編)

G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとし…

Professional Cloud DevOps Engineer試験対策マニュアル

G-gen の杉村です。 Google Cloud (旧称 GCP) の認定資格の一つである Professional Cloud DevOps Engineer 試験の対策や出題傾向について解説します。合格の助けになれば幸いです。 Professional Cloud DevOps Engineer 基本的な情報 Professional Cloud De…

BigQuery「承認されたビュー」と「承認されたデータセット」

G-gen の杉村です。 Google Cloud (GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。 その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの…

Google CloudのVPCを徹底解説!(応用編)

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。今回は 基本編 に続く 応用編 の記事となります。 基本編へのリンク VPC 間・サブネット間の通信 同一 VPC 内のサブネット間通信 VPC 間の通…

Google CloudのVPCを徹底解説!(基本編)

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。なお当記事は VPC の基本機能に絞った 基本編 であり 応用編 も続けてご確認ください。 Virtual Private Cloud (VPC) Virtual Private Cloud…

ChromebookからIAP経由でCompute EngineのWindows ServerへRDPする方法

G-gen の杉村です。Chromebook (Chrome OS) から Cloud IAP のトンネリング機能を使い、 Compute Engine の Windows Server へリモートデスクトップ (RDP) する方法について紹介します。 なお IAP による VM への接続自体が何か、ということについては、以下…

Professional Google Workspace Administrator試験対策マニュアル

G-gen の杉村です。 Google Cloud (GCP) 認定試験の一つである Professional Google Workspace Administrator 試験 (旧称 Professional Collaboration Engineer) は、 Google の提供するグループウェアである Google Workspace の専門知識を問う試験です。当…

BigQuery Reservations(flat-rate pricing)を解説

G-gen の杉村です。 BigQuery ではスキャン量に応じた従量課金である オンデマンド料金 と事前予約により固定料金となる BigQuery Reservation (Flat-rate pricing) が選択できます。当記事では後者について解説します。 BigQuery Reservations とは 用語 コ…

Professional Cloud Developer試験対策マニュアル

G-gen の杉村です。 Google Cloud (旧称 GCP) におけるアプリケーション開発者向けの認定資格である Professional Cloud Developer 試験の勉強方法や出題傾向など、合格に向け役立つ情報をご紹介します。 Professional Cloud Developer 試験情報 Professiona…

BigQueryのSearch Indexを解説

G-gen の杉村です。 BigQuery の Search Index 機能が 2022 年 4 月 7 日にプレビュー公開されました。 BigQuery に対する特定文字列の検索を高速化する当機能を解説します。 BigQuery Search Index の基本 BigQuery Search Index とは ユースケース 料金 制…

BigQueryの列レベル・行レベルのセキュリティを解説

G-genの杉村です。 BigQueryでは 列レベル および 行レベル でアクセスポリシーを設定し、アクセス制限を行うことができます。この機能について解説します。 BigQuery 列レベルのセキュリティ 列レベルのセキュリティとは 分類 (Taxonomy) とポリシータグ 制…

Cloud Storage (Google Cloud)とAmazon S3を比較してみた

G-gen の杉村です。 パブリッククラウドとして提供されるオブジェクトストレージの二大巨頭、 Cloud Storage (Google Cloud) と Amazon S3 (AWS) を比較してみました。 非常によく似ているサービスですが、どのような違いがあるのでしょうか。 Cloud Storage…

Cloud Storage(GCS)を徹底解説

G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは ユースケース 料金 (基…

Professional Cloud Network Engineer試験対策マニュアル

G-genの杉村です。 Professional Cloud Network Engineer は Google Cloud (旧称 GCP) のプロフェッショナルレベルの認定資格の一つです。 Google Cloud のネットワーク系サービスや専用線・ VPN 等に関する高度な知識を確認する難関試験です。 当記事では合…

Google CloudのIAMにおけるDenyポリシーを解説

G-genの杉村です。 Google Cloud (旧称 GCP) の Identity and Access Management (IAM) における 明示的な Deny ポリシー についての解説記事です。 2022/03/03 に Deny policy が Preview 公開されました。この公開前までは IAM Policy には Allow しか書く…

Google Compute Engine(GCE)の継続利用割引を計算例を使って解説

G-gen の杉村です。 継続利用割引 (Sustained use discounts) は、 Google Compute Engine (GCE) の割引制度の一つです。 1ヶ月のうちで一定以上の時間、 VM を起動したままにしておくと、自動的に適用される割引です。 当記事では、確約利用割引の仕組みに…

確約利用割引(Compute Engine)を解説。AWSとの違いも確認

G-gen の杉村です。 Google Cloud (旧称 GCP) の仮想サーバのサービスである Google Compute Engine (GCE) には 確約利用割引 (Committed use discounts) という割引の仕組みがあります。 公式ドキュメントが少々難解なので、本記事では確約利用割引の仕組み…

Professional Cloud Security Engineer試験対策マニュアル。出題傾向・勉強方法

G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Professional Cloud Security Engineer 試験 は、 Google Cloud のセキュリティ関連の知識と実務能力を問う難関試験です。 なお当試験は 2022 年 2 月までは英語版のみの提供でしたが 2022 年 3 …

Looker LookML Developer試験対策マニュアル。出題傾向・勉強方法

G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Looker LookML Developer 試験 は、他の Google Cloud 認定試験とは一線を画し、かつては Google Cloud とは別プロダクトであった Looker の開発者向け認定資格です。 本投稿では試験の合格に役立…

BigQueryのScheduled Queryでジョブ失敗を通知する3つの方法

G-gen の杉村です。 Google Cloud (旧称 GCP) のデータウェアハウスサービスである BigQuery には Scheduled Query という機能が存在します。この機能では、定期的に BigQuery 上で SQL を実行することができます。 前後関係や分岐のある複雑なジョブ管理は…

BeyondCorp Enterpriseを徹底解説。 Googleで実現するゼロトラスト・セキュリティ

G-gen の杉村です。情報セキュリティの世界で ゼロトラスト というキーワードが半ばバズワードのように取り上げられるようになってから久しくなりました。 Google のゼロトラスト・ソリューションとして BeyondCorp Enterprise があります。 Google 社では実…

Googleのクラウド導入フレームワークを翻訳して紹介

G-gen の杉村です。 Google は The Google Cloud Adoption Framework というフレームワーク (考え方や施策の枠組み) を公表しています。 このフレームワークでは、組織がクラウドを導入するときにどのように考え、施策に取り組むべきかについての指針を示し…

Professional Data Engineer試験対策マニュアル。出題傾向・勉強方法

G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Professional Data Engineer 試験 は、 Google Cloud でのデータエンジニアリングに関する難関資格です。 本投稿では試験の合格に役立つ情報を記載します。 試験の 利用規約 において、試験の内容…

Professional Cloud Architect試験対策マニュアル

G-gen の杉村です。 Professional Cloud Architect 試験 は、 Associate Cloud Engineer 試験の上位に位置する Google Cloud (旧称 GCP) の難関認定資格です。本投稿では試験の合格に役立つ、勉強方法や出題傾向などについて解説します。 はじめに Professio…

Associate Cloud Engineer試験対策マニュアル。出題傾向・勉強方法

G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の認定試験の中でも基本的なレベルの内容である Associate Cloud Engineer 試験 の合格に役立つ情報を記載します。 とはいえ、 試験の 利用規約 において、試験の内容を公開することは禁じられていま…

Security Command Centerを徹底解説。Google Cloud(GCP)の脆弱性を自動検知

G-gen の杉村です。 Google Cloud (旧称 GCP) のセキュリティサービスである Security Command Center は Google Cloud 環境の構成ミス、脆弱性、脅威を特定して、セキュリティ強化・リスク軽減をするためのサービスです。 今回はこの Security Command Cent…

Cloud Armorを徹底解説。GoogleのWAFの実力とは

G-genの杉村です。 Google Cloud (GCP) には Cloud Armor というサービスがあります。 Cloud Armor は Google 製のクラウド型 WAF であり、 DDoS 対策の機能も備えています。 当記事では、 Cloud Armor の導入検討に役立つよう、概要や特徴を記載します。 Cl…

BigQueryのパーティションとクラスタリングについての解説

G-genの杉村です。 Google Cloud (GCP) の誇るデータウェアハウスサービスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。 それぞれの仕組みや使い分けを解説していきます。 パーティシ…

Google Cloud(GCP)のセキュリティ機能Cloud IDSを徹底解説

G-gen の杉村です。これまでは Preview の扱いだった Google Cloud (GCP) のセキュリティサービスである Cloud IDS が 2021/11/10 に Generally Available となりました。 IDS は Intrusion Detection System の略語で、侵入検知システムのことです。主にネ…

Cloud DNSをプロジェクト間で移行するときに困った話

杉村です。 Google Cloud (GCP) のマネージドな DNS サービスである Cloud DNS で、先日困ったことが発生しました。 同じことが起きたときに誰かの助けになるよう、顛末と解決法を記載します。 やりたかったこと エラーメッセージ 解決方法 注意点 やりたか…

Cloud Loggingの概念と仕組みをしっかり解説

G-genの杉村です。 Cloud Logging は Google Cloud (GCP) 上のシステム等が生成したログを収集・保管・管理する仕組みです。 かつては Stackdriver Logging と呼称されていました。 使いこなすことで情報システムの非機能要件のうち大きなテーマである ログ…

Google Cloud(GCP)のCloud Monitoring解説 (基本編)

G-genの杉村です。 Cloud Monitoring (旧称 Stackdriver) を使えば、 Google Cloud (GCP) のリソースモニタリング等を行うことができます。何ができるサービスなのか、基本を見ていきましょう。 Cloud Monitoring Cloud Monitoring の概要 Cloud Monitoring …

デジタル庁がGoogle Cloud(GCP)を採択。ガバメント・クラウド事例を紹介

G-genの杉村です。2021年10月26日、デジタル庁が公募していた デジタル庁におけるガバメント・クラウド整備のためのクラウドサービスの提供 の公募結果が公開されました。 結果として Amazon Web Services (AWS) と Google Cloud (旧称 GCP) が対象として 発…

BigQueryのアクセス制御と権限設計を解説

こんにちは。G-genの杉村です。 BigQuery は Google Cloud (GCP) の優れたデータウェアハウスツールです。センシティブなデータを扱うこともあるでしょう。 そのような場合でも BigQuery は Cloud IAM の機能によりきめ細かい権限設定をすることができます。…

Cloud Audit Logsを解説。Google Cloud(GCP)の証跡管理

杉村です。 Google Cloud (GCP) では Cloud Audit Logs (Cloud Audit Logging) という仕組みで、自動的に種々の API コールが記録されています。 しかし一部のログは有効化しなければ記録されないなど、中身をしっかり理解しておく必要があります。 今回の記…

限定公開の Google アクセスの仕組みと手順をきっちり解説

G-genの杉村です。 Google Cloud (GCP) をご利用であれば、 Google Compute Engine の VM やオンプレミスのサーバーから様々なサービスを利用すると思います。 アプリケーションのログを Cloud Logging に出力したり、安価なオブジェクトストレージである Cl…

Private Service Connect機能解説。Google Cloud APIにプライベート接続

G-genの杉村です。当記事では Google Cloud API にプライベートネットワーク経由でアクセスするための機能である Private Service Connect について解説します。 概要 Private Service Connect とは Google Cloud API とは 機能のポイント なぜ Private Serv…

Google Cloud(GCP)の請求の仕組みを分かりやすく解説してみた

こんにちは。G-genの杉村です。 Google Cloud (GCP) の 請求の仕組み 、また 請求アカウント という言葉って、初めて聞くと分かりづらいですよね。 Google Cloud の請求の仕組みや概念は Amazon Web Services (以下、AWS) などとは結構違うので、他のパブリ…

Google Compute EngineのOS Login機能でSSHユーザを楽に管理しよう

こんにちは。G-genの杉村です。 Google Cloud (GCP) のサービス Google Compute Engine (GCE) の OS Login 機能 って、聞いたことがあるでしょうか。 多くのインスタンス (VM) が起動すると、必ず課題になるのがログインユーザーの管理です。 OS Login 機能…

BigQuery新機能がNext '21で発表!まさかのインデックス機能、スナップショット、クローン...

G-gen の杉村です。 2021年10月12日〜から14日の日程で Google Cloud Next '21 が開催されています。 What's new with BigQuery というセッションの中で、 Google Cloud のデータウェアハウスサービスである BigQuery の新機能の数々が発表されました。 特に…

VPC Service Controlsを分かりやすく解説

G-genの杉村です。 本投稿では、 Google Cloud (GCP) のセキュリティ系サービスの中でも特に重要な VPC Service Controls の概念について分かりやすく解説していこうと思います。 VPC Service Controls とは VPC Service Controls って結局何ができるの? で…

踏み台サーバはもういらない。IAP(Identity-Aware Proxy)の便利な使い方

G-genの杉村です。 Google Cloud (GCP) の Cloud Identity-Aware Proxy (以下、IAP) って、聞いたことがあるでしょうか。 一般的な用語で IAP といえば、 VPN レスを実現する大層な仕組み、というイメージかもしれません。 Google Cloud の IAP には色々な機…

これで分かった!Google Cloud(GCP)のIAMの仕組みやAWSとの違い

G-genの杉村です。 Google Cloud (旧称 GCP) の Identity and Access Management (以下、IAM) の仕組みをきちんと理解しているでしょうか。 IAM は基本機能でありながら、きちんと使いこなせば強力なセキュリティ統制を効かせることができます。 Amazon Web …