Vertex AI Searchの新方式Answer APIを解説

G-gen 又吉です。当記事では、2024年6月に GA した Vertex AI Search の最新検索方式である Answer API について紹介します。 はじめに RAG とは Vertex AI Search Answer API 概要 メリット クエリフェーズ クエリ言い換え クエリ簡素化 マルチステップ推論…

Build and deploy generative AI agents using natural language with Vertex AI Agent Builder(Google Cloud Next '24セッションレポート)

G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の2日目に行われた Breakout Session「Build and deploy generative AI agents using natural language with Vertex AI Agent Builder」のレポートです。 他の Google Cloud Next '24 の関連記…

Vertex AI Agentsを使ってみた

G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder (Vertex AI Agents) を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの…

Geminiでマルチモーダル対応の生成AIチャットアプリを爆速で作ってみた

G-gen 又吉です。Google の提供する最新の生成 AI モデルである Gemini を用いて、マルチモーダルな生成 AI チャットアプリを簡単に開発できましたので、ご紹介します。 概要 当記事の内容 デモ動画 前提知識 Gemini とは 使用するモデル Gradio Cloud Runサ…

Vertex AI Gemini APIのFunction callingを触ってみた!!

G-gen 又吉です。今回は、Vertex AI Gemini API の Function Calling を触ってみたの概要を紹介します。 はじめに Gemini とは Function calling とは Function calling の仕組み Vertex AI Extensions との違い 触ってみる 実行環境 事前準備 動作確認 はじ…

Vertex AI Searchで外部Webサイトから要約回答を生成するRAGを構築してみた

G-gen 又吉です。当記事では、LangChain と Vertex AI Search で Google Cloud 公式ドキュメントから回答を生成する LLM を構築してみたいと思います。 はじめに Vertex AI Search and Conversation とは LangChain とは 今回の構成 環境構築 API の有効化 V…

LangChainでBigQueryデータを使ったグラウンディングを実装してみた

G-gen 又吉です。当記事では、Google Cloud の LLM (Vertex AI PaLM API) と LangChain を組み合わせて、自然言語から BigQuery 上の統計データを取得する方法を紹介します。 はじめに 準備 実行環境 使用するデータ 実装 ライブラリのインストール 関数の定…

BigQuery DataFramesを徹底解説

G-gen 又吉です。当記事では、Google Cloud Next '23 で発表された BigQuery DataFrames を解説します。BigQuery 上のデータを、pandas ライクな、また scikit-learn ライクなインターフェイスで操作できるライブラリです。 BigQuery DataFrames 概要 bigfra…

LangChainについて解説。大規模言語モデル(LLM)を効率よく実装するためのフレームワーク

G-gen 又吉です。LangChain とは、大規模言語モデル (LLM) を効率よく実装するために使用するフレームワークです。 当記事では LangChain を用いて、Google Cloud (旧称 : GCP) の LLM である PaLM 2 を操作する基本的な方法をご紹介します。 はじめに Verte…

Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた

G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ…

Googleの生成AI、PaLM 2(言語基盤モデル)のモデルチューニングについて解説

G-gen又吉です。当記事では、Googleの生成AI、PaLM 2(言語基盤モデル)のモデルチューニングについて解説します。 構成図 はじめに Generative AI support on Vertex AI 基盤モデル モデルチューニングとは ユースケース 仕組み トレーニングデータセット サ…

Generative AIを用いてPDFから抽出した文章を要約してみた

G-gen 又吉です。当記事では、Cloud Vision API を用いて PDF ファイルからテキストを抽出し、Google Cloud の Generative AI モデルが利用できる Vertex AI PaLM API を呼び出して抽出したテキストの要約をやってみたので解説します。 前提知識 Generative …

Cloud Vision APIを用いて車のナンバープレートをマスキングしてみる

G-gen 又吉です。Google Cloud (旧称 GCP) の事前トレーニング済みの API のひとつである Cloud Vision API を用いて車のナンバープレートをマスキングする処理をご紹介します。 はじめに Vision AI Vision API 事前確認でわかったこと 構成図 準備 ディレク…

BigQuery MLでVertex AIの基盤モデルPaLM2を呼び出して感情分析してみた

G-gen 又吉です。当記事では、BigQuery ML から Vertex AI の基盤モデルを呼び出して感情分析を行う方法を解説します。 前提知識 Generative AI Support on Vertex AI リモートモデル ML.GENERATE_TEXT 関数 概要 引数 出力 クォータと制限 概要 使用するデ…

Cloud WorkflowsとDataformを用いたデータ分析パイプラインを構築してみた

G-gen 又吉です。当記事では、Cloud Workflows と Dataform を用いてデータ分析パイプラインを構築してみたいと思います。 前提知識 Cloud Workflows Dataform ETL と ELT 概要 今回の構成 Cloud Workflows のスコープ Dataform のスコープ 準備 ディレクト…

Config Controllerで組織ポリシーを定義してみた

G-gen の又吉です。当記事では、 Google Cloud(旧称 GCP)リソースのプロビジョニングとオーケストレーションができるサービスである Config Controller で組織ポリシーを定義してみました。 前提知識 Config Connector Config Controller 検証概要 事前準…

Generative AI support on Vertex AIを徹底解説!

G-gen の又吉です。当記事では、Goolge Cloud (旧称 GCP) の Vertex AI でサポートされた Generative AI を解説します。 Vertex AI での Generative AI サポート 概要 Generative AI とは Generative AI モデル Generative AI Studio 概要 利用可能モデル 概…

Cloud Run jobsでFTPサーバからCloud Storageにファイル転送してみた

G-gen 又吉です。今回は Cloud Run jobs を用いて、FTP サーバから Cloud Storage にファイル転送する仕組みを作成していきます。 概要 事前準備 開発環境の準備 ディレクトリ構成 Dockerfile main.py requirements.txt 使用するリソースの作成 FTP サーバの…

Dataformを徹底解説

G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペ…

Vertex AI WorkbenchとBigQuery MLで機械学習モデル(クラスタリング)を構築してみた

G-gen 又吉です。今回は Vertex AI Workbench を用いて JupyterLab の開発環境から BigQuery ML を実行し機械学習モデル(クラスタリング)を作成していきたいと思います。 概要 概要 今回使用するデータ K-means 法とは 準備 Vertex AI Workbench の作成 BigQ…

BigQuery MLで機械学習モデル(分類)を構築してみた

G-gen 又吉です。今回は BigQuery に備わる機械学習機能である BigQuery ML で、2 項ロジスティック回帰を用いた分類モデルを作成してみました。 BigQuery ML とは サポートされているモデル 今回使用するデータ 準備 各種ファイルのアップロード データセッ…

Google アカウント (ID) / グループの棚卸しを Cloud Functions で実装してみた

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の又吉です。当記事では、Cloud Functions を用いて Google Workspace もしくは Cloud Identity (以下、Google Workspace 等) で管理している…

Cloud Functions の呼び出しを許可されたアカウントのみが実行できるよう制御する方法

G-gen の又吉です。当記事では、Cloud Functions の呼び出しを許可されたアカウントのみが実行できるよう制御する方法を紹介します。 概要 背景 構成 準備 必要な API の有効化 サービスアカウントの作成 functions-2 関数のサービスアカウント作成 function…

Security Command Center から検出される脅威を自動で修復する仕組みを作ってみた

こんにちは、G-gen 又吉です。今回は、Security Command Center から検出される脅威を Slack に通知したり、特定の検出機能においては自動で修復する仕組みを実装してみたいと思います。 概要 Security Command Centerとは 作成するもの 作成の手順 Pub/Sub …

Eventarcトリガーを利用してCloud StorageのファイルメタデータをBigQueryへ格納してみた

G-gen 又吉です。今回は Eventarcトリガーを利用して、Cloud Storage のファイルメタデータを BigQuery へ格納してみました。 概要 作成するもの Eventarcとは? Cloud Strage の準備 Cloud Storage トリガーとは Cloud Storage サービス アカウントへの権限…

Cloud Build を使ってCI/CDパイプラインを構築してみた

G-gen エンジニアの又吉です。今回は、Google Cloud のビルドサービスであるCloud Build を使って、Cloud Functions のCD/CDパイプラインを構築してみました。 Cloud Build を用いた Cloud Functions のCI/CDパイプライン Cloud Build の概要 Cloud Build と…

Connected Sheets で始めるデータ分析

こんにちは、6月にG-gen にJoinした又吉です。 今回は、 Google Workspace の全エディションにおいて無償で利用可能な Connected Sheets をご紹介します。 はじめに Connected Sheets とは 前提条件 料金 アクセス制御 セットアップ 操作方法 概要 グラフ ピ…