G-gen の堂原です。本記事は Google Cloud Next '24 in Las Vegas の 3 日目に行われた Breakout Session「Vertex AI Gemini: Model selection and prompt design principles and strategies」のレポートです。

他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。

セッションの概要

本セッションでは、Vertex AI で生成 AI を使っていくにあたってのモデルの選び方、プロンプト設計における Tips 及びその原則についての講演が行われました。

新サービスの発表等は無かったですが、Google の方からプロンプト設計についてのノウハウが聞ける貴重なセッションでした。

生成 AI モデルの選び方について

今回の Next を経て、Gemini 1.5 Pro や Gemma が Vertex AI に追加され、生成 AI モデルは更に選択肢が広くなりました。

では、プロダクトにおいてはどの生成 AI モデルを使うのが良いのでしょうか。

研究の世界においては生成 AI はベンチマークが優先され、最も良いスコアを出した 1 つのモデルが注目を集めることとなります。しかし、プロダクトの世界においては必ずしも 1 つのモデルにこだわる必要はなく、またベンチーマークというよりかは顧客満足度や ROI が優先されます。

そのため、ユースケースに応じて 1 つまたは複数のモデルを使い分けていくことが大事となります。

セッション内ではユースケースに応じてどのモデルを使うべきかを示した決定木が紹介されていました。

必ずしも常に Gemini 1.5 Pro が優先されるわけではなく、時には Gemini 1.0 Pro、時には Imagen 2 や text-bison、text-unicorn が候補となりうるということがわかります。

プロンプト設計における Tips

概要

次にプロンプト設計を行うにあたっての Tips が紹介されました。

基本的なプロンプト設計においては、以下のコンポーネントを組み合わせていくこととなります。

そのうえで、本セッションで紹介された Tips のうち、そのいくつかを紹介します。

また、セッション内で紹介されていた以下の公式ドキュメントもご参照ください。

Instructions

モデルが実際に行うタスクを記載する Instructions ですが、その内容はシンプルかつ明示的であることが望ましいです。

悪い例 : Summarize the meeting notes.
良い例 : Summarize the meeting notes in a single paragraph. Then write a markdown list of the speakers and each of their key points. Finally, list the next steps or action items suggested by the speakers, if any.

加えて、特定の振る舞いを禁止するような書き方よりは、何をしてほしいかを基本としたほうが効果的です。

また、モデルの立場（Persona）などを記載する前提条件部分についても、簡素であることが望まれます。

Examples

Few-shot learning に代表されるように、モデルに入出力例を与えることはとても効果的な手法です。ただし、Examples の数が多いことはむしろ性能の悪化に繋がる場合があります。

区切りを明確にする

どこが Instructions なのか、どこが Examples なのかを明確に区切るようにしましょう。特に <EXAMPLES> ... </EXAMPLES> といった XML タグを用いることが推奨されていました。

各要素の順番

Gemini 1.5 Pro においては、モデルに与える背景情報にあたる Documents のあとに Instructions を配置したほうが精度が良くなります。

実験と評価

プロンプト設計の Tips ではないですが、良いプロンプトを作成するためには様々なプロンプトを実験し、評価することが大事になります。

Vertex AI では、生成 AI モデルの 3 つの評価方法が提供されています。

Automated Metrics : タスク固有の何かしらのメトリクスを評価に利用
Automatic side-by-side（AutoSxS）: 2 つのモデルの比較に利用
Rapid Evaluation : クイックにモデルの評価が可能

その中でも、今回新たに登場した Rapid Evaluation を用いた場合のイメージが紹介されました。

プロンプト設計の原則

セッションの最後では、生成 AI で実際にシステムを構築していく際の原則について紹介されました。

ポイントはそのシステムにおけるユーザージャーニーを意識し、個々のプロセス毎に生成 AI モデルを呼び出すことです。 1 つのモデルとプロンプトで複雑な処理を行うとなると、とても複雑なプロンプトを設計する必要が出てきます。しかし、プロセス毎に分解することで個々のモデルの入出力がシンプルとなり、プロンプト設計もより簡易なものとなります。