Google Cloud Next Tokyo '24 速報レポート（生成 AI における MLOps とリクルートの導入事例）

記事タイトルとURLをコピーする

G-gen の坂本です。当記事では、Google Cloud Next Tokyo '24 セッション「生成 AI における MLOps とリクルートの導入事例」に関する速報レポートをお届けします。

他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧からご覧いただけます。

概要
MLOps
Rapid evaluation API
Automatic metrics
AutoSxS（Automatic side-by-side）
今後の展望
関連記事

概要

本セッションでは、株式会社リクルートにおける生成 AI と MLOps の導入事例が紹介されました

MLOps

従来の機械学習モデルと同様、生成 AI モデルも時間の経過とともに精度が低下していきます。

これは、学習データが古くなり、現実の状況にそぐわなくなっていくためです。

そこで重要になるのが、MLOps（Machine Learning Operations）です。

MLOps は、機械学習モデルの開発から運用までを効率化し、継続的な改善を可能にするための手法・文化・プラットフォームを指します。

MLOps により、モデルの再学習、性能監視、問題発生時の迅速な対応などが自動化され、生成 AI モデルを常に最新の状態に保つことができます。

参考 : MLOps: ML における継続的デリバリーと自動化のパイプライン

本セッションでは、MLOps を実装するのに役立つサービスを提供する Google Cloud（旧称 GCP）の機械学習プラットフォームである Vertex AI が提供する機能のうち、Rapid evaluation API、Automatic metrics、AutoSxS（Automatic side-by-side）が紹介されました。

Rapid evaluation API

Rapid evaluation API は、大規模言語モデル（LLM）を迅速に評価するための仕組みです。

評価には、ポイントワイズとペアワイズを利用した、複数の指標を用います。

ポイントワイズとは、単一の文章とクエリを LLM に与えて、文書がクエリに関連しているかどうかを判断させ、その結果を評価指標にする方法です。

ペアワイズとは、2つの文書とクエリを LLM に与えて、どちらの文書がクエリに対してより関連性が高いかを評価する方法です。

参考 : Rapid evaluation API

Automatic metrics

Automatic metrics とは、⽣成 AI のタスクに最適な評価メトリックスを、Google Cloud（旧称 GCP）が⾃動で選定する仕組みです。

例えば、要約なら「ROUGE-LSum」、テキスト⽣成なら「BLEU」といったメトリックスを選定し、その評価を自動で実行します。

AutoSxS（Automatic side-by-side）

AutoSxS（Automatic side-by-side）とは、ABテストのように、異なるモデル、異なるバージョンを比較評価する仕組みです。

参考 : AutoSxS

ユースケース 1 : ユーザー返信からのマッチング品質評価

リクルートでの導入事例として、ユーザー（求職者）と企業のマッチングの質を評価するシステムが紹介されました。

同社では、ユーザーと企業担当者との間でのやりとりから、ユーザーの満足度を測るために生成 AI を導入しました。

Google Cloud（旧称 GCP）の生成 AI を用いる利点として、以下の点が挙げられました。

マッチング品質を定量的に評価。
分類結果だけでなく、その理由も出力。
GPT-4 より低コストで、BigQuery との連携が容易。
MLOps 環境が整っており、運用が容易。

ユースケース 2 : 履歴書作成の自動化

2 つめの導入事例として、ユーザーの履歴書作成を支援するシステムが紹介されました。

これまではリクルーターが履歴書作成を支援していましたが、リクルーターのドメイン知識をファインチューニングや Reinforcement Learning from Human Feedback（RLHF）により学習させた生成 AI モデルを構築することで、履歴書のフォーマットに沿ったテンプレートを自動生成できるようになりました。

RLHF とは、人間のフィードバックを使って生成 AI モデルを強化学習する手法のことです。

ファインチューニングを施したモデルと、RLHF を施したモデルを比較評価したところ、RLHF を施したモデルの方が良い結果が得られました。