G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。前回の記事では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。

はじめに
開発の効率化
インフラ
- C3A / C3D VM
- Titanium
BigQuery と AI/ML
BigQuery とデータ分析
新しい Google 製 LLM "Gemini"
Vertex AI / Generative AI
- Vertex AI Extensions (Vertex AI Data Connectors)
その他

はじめに

当記事では Google Cloud Next '23 の2&3日目で行われた発表を分かりやすくお伝えします。なお当記事で扱う話題の中には1日目に既に発表されていたものもありますが前回記事 (1日目) で扱いきれなかった内容も含まれます。

なお Google Cloud Next '23 の2&3日目の発表内容は、以下の公式記事もご参照ください。

参考 : Next 23 recap Day 2 | Google Cloud Blog

一日目の発表内容については、以下の当社記事もあわせてご参照ください。

blog.g-gen.co.jp

開発の効率化

Jump Start Solutions

定形のアプリケーションインフラを簡単にデプロイできる Jump Start Solutions が紹介されました。

「3層ウェブアプリケーション」「CI/CD パイプライン」「BigQuery を使ったデータウェアハウス」など、Google が用意したテンプレートからワンクリックで環境をデプロイすることができます。

GitLab との提携

Google Cloud と GitLab のパートナーシップが発表されました。

DevSecOps の領域で、Google Cloud と GitLab の親和性がこれまで以上に高まっていきます。

Application Integration の GA

Preview 公開の位置づけだった Application Integration の GA (一般公開) が発表されました。

Application Integration は、BigQuery や AlloyDB などの Google Cloud サービスを始め、Salesforce、Zendesk、ServiceNow などサードパーティ製品など同士のデータ連携をノーコードで実現できるツールです。Integration Platform as a Service (iPaaS) と表現されています。

インフラ

C3A / C3D VM

C3A VM と C3D VM が発表されました。

C3A は AmpereOne 社の ARM ベースの CPU を積んだマシンタイプで、2023年9月に Preview 公開予定です。従来のインテルベースのマシンからコスト効率が40%改善したとされています。

C3D は AMD 社のインテル互換の CPU を搭載した VM で、同じく2023年9月に Preview 公開予定です。前世代の N2D よりパフォーマンスが45%改善されたとしています。

またこれとあわせ従来より存在する C3 VM では Hyperdisk (Compute Engine VM 用のハイパフォーマンスな永続化ディスク) への対応が発表され、最大 500K IOPS が実現できます。これはハイパースケーラー (いわゆるメガクラウド) の中でも最高クラスです。

Titanium

Titanium と呼ばれる技術が公表されました。

これは Google Cloud の新しいプロダクトというわけではなく、C3 VM などの裏側で既に使われている技術です。CPU からストレージ管理等のタスクをオフロードすることにより、VM に割り当てられたコンピュートリソースとストレージ管理用リソースを切り離して疎結合にすることにより、高 IOPS を実現する Hyperdisk の扱いを可能にしました。従来はより高い IOPS を得るためにはより大きいサイズのインスタンスを選択する必要がありましたが、Titanium によりこの密結合を切り離すことができるようになりました。

BigQuery と AI/ML

BigQuery ML での生成 AI 利用

BigQuery から SQL を使って ( ML.GENERATE_TEXT ) PaLM API を呼び出す機能は、以前から Preview 公開されていましたが GA になりました。

また ML.GENERATE_TEXT_EMBEDDING を使いテキストのエンベディング (ベクトル化) を行う機能も Preview 公開されました。

BigQuery 内のテキストを使ったエンベディングやテキスト生成が SQL によって可能になるほか、一日目で発表になった BigQuery Studio との組み合わせも可能になります。BigQuery Studio (Colab Enterprise のノートブック) 上で Python によってスクリプトを書き、データを整備して、BigQuery ML により PaLM リモートモデルを呼び出してテキストの生成などを行うなど、データの前処理と推論をより柔軟に実施することができるようになりました。

Feature Store の BigQuery 対応

Vertex AI Feature Store はこれまで独自のレポジトリに AI/ML 用の Feature (特徴量) を保管していましたが、BigQuery のテーブルを feature store として利用できるようになります。2023年9月末に Preview 公開が予定されています。

これまでとは異なり BigQuery のデータを低レイテンシで読み出すことができ、オンラインでの利用が想定されています。従来は BigQuery のデータをリアルタイム推論に利用するのは、レイテンシや BigQuery 特有の課金体系等の理由から現実的ではありませんでしたが、今回のアップデートによりその様子が変わります。

BigQuery でのベクトルインデックス構築

こちらも現時点ではロードマップですが、BigQuery で CREATE VECTOR INDEX によりベクトルインデックスの構築とベクトル検索ができるようになります。

SQL によるバッチ処理として検索することに加えて、先述の Feature Store との統合により、API 経由でオンラインでの検索にも対応するものと想定されます。

BigQuery とデータ分析

Data clean rooms (Preview)

BigQuery で Data clean rooms が Preview 公開されました。

Data clean rooms は、組織間でデータを共有するための仕組みである Analytics Hub の機能の一部です。Analytics Hub は従来から存在していましたが、今回発表された Data clean rooms はこれを拡張し、データ保護とセキュリティを提供する機能です。

Data clean rooms を使うことで、データ利用者はデータ提供者のデータをコピーすることなく利用できるという Analytics Hub の利点はそのままに、データ提供側は自社データを統合したり匿名化する等してセキュアにデータを提供することができます。

参考 : Secure and privacy-centric sharing with data clean rooms in BigQuery
参考 : Use data clean rooms

BigQuery to Bigtable export

EXPORT DATA 文を使い、BigQuery から Bigtable (Google Cloud のフルマネージドな NoSQL データベース) へデータを直接エクスポートできるようになりました (Preview)。

BigQuery Omni の機能強化

BigQuery Omni は以前よりある機能で、Amazon S3 や Azure Blob Storage 上の構造化・半構造化データに対して BigQuery から外部テーブル定義を行うことができる機能です。今回これが機能強化され Cross-Cloud Join や Cross-Cloud Materialized View が使えるようになります。

また Salesforce Data Cloud とのデータ連携や、対応リージョンの拡大予定も発表されています。

新しい Google 製 LLM "Gemini"

新しい Google 製 LLM である Gemini が発表されました。今後の Google の旗艦 AI モデル (flagship AI model) と位置づけられており、2023年12月に正式リリースの予定です。

詳細なドキュメントは公開されていませんが、GPT-4 の直接的な競合になるとされています。65兆のトークンを用いてトレーニングされており、テキストや画像を生成できることが公表されています。トレーニングには YouTube の動画も利用されています。

科学的用途、クリエイティブ用途、専門知識領域の用途などが想定されています。

Gemini のトレーニングに用いられているデータは法務チームにより監査されており、著作権/版権に配慮されています。

Vertex AI / Generative AI

Vertex AI Extensions (Vertex AI Data Connectors)

グラウンディング (生成 AI が生成する文章の正確性を高める) の目的で、Vertex AI で扱う生成 AI 基盤モデルから外部データに接続するための拡張機能を利用可能にする Vertex AI Extensions が Private Preview になりました。社内に蓄積されたドキュメントをもとに、生成 AI チャットボットがより正確な回答を生成するように調整できます。自社開発した Extension を外部公開することも可能です。

Vertex AI Data Connectors は Google Cloud 公式の Extensions で、企業データや Salesforce、Confluence、JIRA などを用いたグラウンディングを助けるものです。こちらも Preview となっています。