G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。前回の記事では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。
- はじめに
- 開発の効率化
- インフラ
- BigQuery と AI/ML
- BigQuery とデータ分析
- 新しい Google 製 LLM "Gemini"
- Vertex AI / Generative AI
- その他
はじめに
当記事では Google Cloud Next '23 の2&3日目で行われた発表を分かりやすくお伝えします。なお当記事で扱う話題の中には1日目に既に発表されていたものもありますが前回記事 (1日目) で扱いきれなかった内容も含まれます。
なお Google Cloud Next '23 の2&3日目の発表内容は、以下の公式記事もご参照ください。
一日目の発表内容については、以下の当社記事もあわせてご参照ください。
開発の効率化
Jump Start Solutions
定形のアプリケーションインフラを簡単にデプロイできる Jump Start Solutions が紹介されました。
「3層ウェブアプリケーション」「CI/CD パイプライン」「BigQuery を使ったデータウェアハウス」など、Google が用意したテンプレートからワンクリックで環境をデプロイすることができます。
GitLab との提携
Google Cloud と GitLab のパートナーシップが発表されました。
DevSecOps の領域で、Google Cloud と GitLab の親和性がこれまで以上に高まっていきます。
Application Integration の GA
Preview 公開の位置づけだった Application Integration の GA (一般公開) が発表されました。
Application Integration は、BigQuery や AlloyDB などの Google Cloud サービスを始め、Salesforce、Zendesk、ServiceNow などサードパーティ製品など同士のデータ連携をノーコードで実現できるツールです。Integration Platform as a Service (iPaaS) と表現されています。
インフラ
C3A / C3D VM
C3A VM と C3D VM が発表されました。
C3A は AmpereOne 社の ARM ベースの CPU を積んだマシンタイプで、2023年9月に Preview 公開予定です。従来のインテルベースのマシンからコスト効率が40%改善したとされています。
C3D は AMD 社のインテル互換の CPU を搭載した VM で、同じく2023年9月に Preview 公開予定です。前世代の N2D よりパフォーマンスが45%改善されたとしています。
またこれとあわせ従来より存在する C3 VM では Hyperdisk (Compute Engine VM 用のハイパフォーマンスな永続化ディスク) への対応が発表され、最大 500K IOPS が実現できます。これはハイパースケーラー (いわゆるメガクラウド) の中でも最高クラスです。
Titanium
Titanium と呼ばれる技術が公表されました。
これは Google Cloud の新しいプロダクトというわけではなく、C3 VM などの裏側で既に使われている技術です。CPU からストレージ管理等のタスクをオフロードすることにより、VM に割り当てられたコンピュートリソースとストレージ管理用リソースを切り離して疎結合にすることにより、高 IOPS を実現する Hyperdisk の扱いを可能にしました。従来はより高い IOPS を得るためにはより大きいサイズのインスタンスを選択する必要がありましたが、Titanium によりこの密結合を切り離すことができるようになりました。
BigQuery と AI/ML
BigQuery ML での生成 AI 利用
BigQuery から SQL を使って ( ML.GENERATE_TEXT
) PaLM API を呼び出す機能は、以前から Preview 公開されていましたが GA になりました。
また ML.GENERATE_TEXT_EMBEDDING
を使いテキストのエンベディング (ベクトル化) を行う機能も Preview 公開されました。
BigQuery 内のテキストを使ったエンベディングやテキスト生成が SQL によって可能になるほか、一日目で発表になった BigQuery Studio との組み合わせも可能になります。BigQuery Studio (Colab Enterprise のノートブック) 上で Python によってスクリプトを書き、データを整備して、BigQuery ML により PaLM リモートモデルを呼び出してテキストの生成などを行うなど、データの前処理と推論をより柔軟に実施することができるようになりました。
Feature Store の BigQuery 対応
Vertex AI Feature Store はこれまで独自のレポジトリに AI/ML 用の Feature (特徴量) を保管していましたが、BigQuery のテーブルを feature store として利用できるようになります。2023年9月末に Preview 公開が予定されています。
これまでとは異なり BigQuery のデータを低レイテンシで読み出すことができ、オンラインでの利用が想定されています。従来は BigQuery のデータをリアルタイム推論に利用するのは、レイテンシや BigQuery 特有の課金体系等の理由から現実的ではありませんでしたが、今回のアップデートによりその様子が変わります。
BigQuery でのベクトルインデックス構築
こちらも現時点ではロードマップですが、BigQuery で CREATE VECTOR INDEX
によりベクトルインデックスの構築とベクトル検索ができるようになります。
SQL によるバッチ処理として検索することに加えて、先述の Feature Store との統合により、API 経由でオンラインでの検索にも対応するものと想定されます。
BigQuery とデータ分析
Data clean rooms (Preview)
BigQuery で Data clean rooms が Preview 公開されました。
Data clean rooms は、組織間でデータを共有するための仕組みである Analytics Hub の機能の一部です。Analytics Hub は従来から存在していましたが、今回発表された Data clean rooms はこれを拡張し、データ保護とセキュリティを提供する機能です。
Data clean rooms を使うことで、データ利用者はデータ提供者のデータをコピーすることなく利用できるという Analytics Hub の利点はそのままに、データ提供側は自社データを統合したり匿名化する等してセキュアにデータを提供することができます。
BigQuery to Bigtable export
EXPORT DATA
文を使い、BigQuery から Bigtable (Google Cloud のフルマネージドな NoSQL データベース) へデータを直接エクスポートできるようになりました (Preview)。
BigQuery Omni の機能強化
BigQuery Omni は以前よりある機能で、Amazon S3 や Azure Blob Storage 上の構造化・半構造化データに対して BigQuery から外部テーブル定義を行うことができる機能です。今回これが機能強化され Cross-Cloud Join や Cross-Cloud Materialized View が使えるようになります。
また Salesforce Data Cloud とのデータ連携や、対応リージョンの拡大予定も発表されています。
新しい Google 製 LLM "Gemini"
新しい Google 製 LLM である Gemini が発表されました。今後の Google の旗艦 AI モデル (flagship AI model) と位置づけられており、2023年12月に正式リリースの予定です。
詳細なドキュメントは公開されていませんが、GPT-4 の直接的な競合になるとされています。65兆のトークンを用いてトレーニングされており、テキストや画像を生成できることが公表されています。トレーニングには YouTube の動画も利用されています。
科学的用途、クリエイティブ用途、専門知識領域の用途などが想定されています。
Gemini のトレーニングに用いられているデータは法務チームにより監査されており、著作権/版権に配慮されています。
Vertex AI / Generative AI
Vertex AI Extensions (Vertex AI Data Connectors)
グラウンディング (生成 AI が生成する文章の正確性を高める) の目的で、Vertex AI で扱う生成 AI 基盤モデルから外部データに接続するための拡張機能 を利用可能にする Vertex AI Extensions が Private Preview になりました。社内に蓄積されたドキュメントをもとに、生成 AI チャットボットがより正確な回答を生成するように調整できます。自社開発した Extension を外部公開することも可能です。
Vertex AI Data Connectors は Google Cloud 公式の Extensions で、企業データや Salesforce、Confluence、JIRA などを用いたグラウンディングを助けるものです。こちらも Preview となっています。
その他
旧来の Dataform は廃止
Dataform は主に BigQuery 用の ELT ツールで、SQL ライクな構文でデータ変換をワークフロー管理できるツールです。もともと Google Cloud とは別開発のツールでしたが、2023年に Google Cloud に統合されました。
Google Cloud 統合前の旧 Dataform は、2024/02/26 に廃止されます。
Serverless Composer
詳細は未発表ですが、Cloud Composer (Apache Airflow のマネージドサービス) のサーバーレス版が発表されました。利用可能時期等は未発表です。
全体で 161 個の発表
当社記事で紹介したものも含めて、今回の Next では大小を含めて161個の発表がありました。
その全ては以下の公式記事にまとめられています。
その全てに目を通すのは大変ですが、中には役に立つ新機能もあるかもしれません。
次回の Google Cloud Next (2024)
2024年の Google Cloud Next は 2024年4月 (4月9日〜11日) にラスベガスで実施されることが発表されました。
次回の Next まで半年あまりという短期間で実施されることになります。
杉村 勇馬 (記事一覧)
執行役員 CTO / クラウドソリューション部 部長
元警察官という経歴を持つ現 IT エンジニア。クラウド管理・運用やネットワークに知見。AWS 12資格、Google Cloud認定資格11資格。X (旧 Twitter) では Google Cloud や AWS のアップデート情報をつぶやいています。
Follow @y_sugi_it