使用 Vertex AI Agent Builder 和 Dialogflow 生成应用程序

什么是Vertex AI Agent Builder？

Vertex AI Agent Builder 让开发人员（即使是机器学习技能有限的开发人员）能够利用 Google 的基础模型、搜索专业知识和对话式 AI 技术的强大功能来创建企业级生成式 AI 应用程序。

Vertex AI Agent Builder 包含以下功能：

Vertex AI Agents
Vertex AI Search

Vertex AI Agents

Vertex AI Agents 是一个基于大型语言模型 (LLM) 构建的新型自然语言理解平台。借助它，您可以轻松设计对话式用户界面并将其集成到您的移动应用、Web 应用、设备、机器人、交互式语音响应系统等中。使用 Vertex AI Agents，您可以为用户提供与您的产品互动的全新且引人入胜的方式。

Chat 应用

类似聊天机器人的应用程序，您可以在其中定义不同的聊天路径。更像 LLM 之前的聊天机器人 - 但增强了 LLM 的功能。与“仅仅”搜索相比，聊天允许更复杂的交互和用户指导。

代理应用 (Agent apps)

代理应用提供了创建虚拟客服的新方式大型语言模型 (LLM)。无需定义 Dialogflow CX 流程、页面、意图和转换；您可以提供自然语言指令和结构化数据。这可以大幅降低虚拟客服的创建和维护时间，为企业实现全新类型的对话体验。

Vertex AI Search

Vertex AI Search 是一个完全托管的平台，由大型语言模型提供支持，可让您为公共或私人网站或移动应用程序构建支持 AI 的搜索和推荐体验。

搜索应用

借助 Vertex AI Search，您可以根据自己的数据快速构建 Google 质量的搜索应用，并在网页或应用中嵌入搜索栏。

您可以创建以下不同类型的搜索应用程序：

通用搜索。将通用搜索应用于包含您专有数据的网站或数据存储，让您的客户在您希望他们看到的内容上获得 Google 品质的搜索体验。
媒体搜索。这是专门针对电影、视频和音乐等媒体内容设计的搜索功能。通过媒体搜索，观众可以高效地找到他们想要观看或收听的媒体内容。
医疗保健搜索。这是一项搜索功能，可让您查询存储在 FHIR 数据存储中的医疗保健记录。您可以从 Cloud Healthcare API FHIR 存储中导入包含临床数据的 FHIR 资源。您还可以搜索 FHIR 资源引用的非结构化数据，例如图像、PDF 文件和 RTF 文件。

数据存储和应用程序

使用 Vertex AI Search，您可以创建搜索或推荐应用并将其附加到数据存储。您可以将数据导入数据存储并编制索引。应用和数据存储具有一对一关系。

根据您使用的数据类型，您可以创建各种类型的数据存储。每个数据存储可以包含一种类型的数据：

网站数据：您可以提供诸如 www.ecloudrover.com，并在这些域名上启用内容的搜索。
结构化数据：具有结构化数据的数据存储，可对结构化数据（例如 BigQuery 表、 JSONL 文件）。
非结构化数据：非结构化数据存储支持对文档和图像等数据进行混合搜索。搜索 HTML、内嵌文本的 PDF 和 TXT 格式的文档。PPTX 和 DOCX 格式在预览版中可用。
结构化媒体数据：具有特定于媒体行业的结构化数据架构的数据存储。例如，结构化媒体数据（例如视频、新闻或音乐）
第三方数据源：从第三方数据源提取数据，例如Confluence、Jira、Slack等。
医疗保健 FHIR 数据：医疗保健数据存储支持对从 Cloud Healthcare API 导入的医疗保健 FHIR R4 数据，例如，医疗保健提供者可以使用探索性查询搜索患者的临床病史。

Dialogflow

Dialogflow 是一个自然语言理解平台，可让您轻松地设计出对话式界面并将其集成到您的移动应用、网页应用、设备、聊天机器人、交互式语音响应系统等等中，包括 Vertex AI Agent Builder 中生成式 AI 功能的内置集成借助 Dialogflow。您可以提供新颖且引人入胜的交互方式，供用户与您的产品交互。Dialogflow 可以分析来自客户的多种输入，包括来自电话或录音等的文本或音频输入。它还可以通过文本或合成语音等多种方式响应您的客户。

Dialogflow CX 和 ES

Dialogflow 提供两种不同的虚拟客服服务，每种服务都有自己的代理类型、界面、API、客户端库和文档：

Dialogflow CX（高级版）提供适合大型或非常复杂的代理的高级代理类型。
Dialogflow ES （标准版）提供适用于小型和简单代理的标准代理类型。

操作步骤

一. 电影搜索应用

进入到Agent Builder服务 > 点击Data Stores > CREATE DATA STORE

数据源选择Cloud Storage

选择格式化数据Structured data (JSONL)

数据源：

cloud-samples-data/gen-app-builder/search/kaggle_movies/movie_metadata.ndjson

等待自动记载Scheme，命名数据名称，创建

创建应用，选择第一个Secrch
选择Generic,并填写App name、Company name
数据选择刚才创建的数据，创建

点击配置Configurations，Data display options > Configure fields in results

Key

Value

Title

title

Thumbnail

poster_path

URL

homepage

Text 1

tagline

Text 2

release_date

Text 3

vote_average

搜索，比如搜索哈利波特Harry Potter

二. RAG应用

创建应用，选择chat

Data > DATA STORE > 选择GCS 创建

勾选创建的数据集，点击创建

检查数据处理的状态

等待数据处理完成，点击应用的名称，会跳转到dialogflow

点击Start Page,点击Data stores

点击Test Agent,进行提问

三. 订单系统

在Dialogflow中点击创建agent,选择创建Build your own

选择区域，时区，默认语言（zh-CN）

默认没有任何流程的页面，Routes点击+号，选择new Intent

命名Intent的名称，以及输入描述：

协助用户进行团体的预订。首先收集旅行详细信息，包括出发时间、目的地、客人人数（最少 4 人，最多 15 人）、联系方式（手机号码或者邮箱）。目的地必须是东南亚以下地区之一：泰国、新加坡、印度，印度尼西亚。

训练短语，当用户说出与训练短语类似的内容时，Dialogflow 会将其与意图进行匹配。您不必创建详尽的列表，例如我想出国旅行，保存

在Pages部分，选择添加,输入名称后，点击编辑

在Entry fulfillment部分，配置Agent says为：

为了帮助您解决这个问题，我需要收集您的旅行详情，然后我们会尽快给您提供报价。

点击Parameters，添加参数自定义参数destination，number-of-guests
date-period（默认参数），email（默认参数）可以直接选，不需要创建

点击Parameters，添加参数

目的地destination，
entity type为@destination，
Agent says为：您想去哪里？我们可以在泰国，新加坡，印度，印度尼西亚服务
Reprompt event handlers：事件选择No-match default Event，在Agent says配置为：我们只可以在泰国，新加坡，印度，印度尼西亚服务，从中选择。

其他几个参数按照上述步骤配置，内容填写表格里的

display name

entity type

Agent says

Reprompt event handlers

destination

@destination

您想去哪里？我们可以在泰国，新加坡，印度，印度尼西亚服务

我们只可以在泰国，新加坡，印度，印度尼西亚服务，从中选择。

number-of-guests

@number-of-guests

请告诉我打算几个人进行团购旅行？

抱歉，我们只能协助4至15人的团体预订。

date-period

@sys.date-period

您打算什么日期进行旅行?

请输入正确的日期！

@sys.email

请告诉我您的邮箱

请输入正确的邮箱

点击Routes，选择添加route，Condition rules 配置$page.params.status值为FINAL

在agent says 填写内容

感谢您的预订！以下是您的行程详情：

目的地：$session.params.destination
日期：$session.params.date-period
客人数量：$session.params.number-of-guests
联系邮箱：$session.params.email

非常感谢您提供旅行详情。我们将寻找最符合您需求的优惠，并尽快回复您！

也可以把收集的客户信息传递给自身的api或者webhock，以飞书Webhock为例，在Manage > Webhock > Create

{ "msg_type": "interactive", "card": { "header": { "title": { "tag": "plain_text", "content": "来新订单了" }, "template": "green" }, "elements": [ { "tag": "markdown", "content": "以下是行程详情：\n\n目的地: $session.params.destination\n时间: $session.params.date-period\n邮件: $session.params.email\n人数：$session.params.number-of-guests\n\n请尽快寻找最符合客户需求的优惠，并尽快回复客户，谢谢！" } ] } }