亚马逊云科技生成式AI 深度测评Amazon Bedrock

本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在亚马逊云科技开发者社区, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道

前言

太平洋时间11月28日，亚马逊云科技在美国拉斯维加斯举办2023 re:Invent全球大会。本次大会的核心是生成式AI，生成式AI有潜力推动技术变革,从而重塑人们的一切行为方式,无论是信息搜索还是以全新的方式编写和构建应用程序。亚马逊云科技在三层堆栈的每一层提供解决方案,包括专门构建的基础设施、工具和应用程序,帮助客户更好地利用生成式AI。

在北京时间2023年11月30日 05:00 - 06:00，Bratin Saha 博士带我们了解了最新的亚马逊云科技服务和基础架构创新和亚马逊云科技的一些企业客户已经使用生成式 AI 构建了哪些业务。由于亚马逊云科技提供一百多种产品的试用，所以在本场直播结束后我迫不及待的开始动手实验起来，本文对亚马逊云科技生成式AI产品Amazon Bedrock进行深度测评。

产品介绍

Amazon Bedrock服务于2023年9月28日正式可用，这是使用基础模型构建和扩展生成性人工智能应用程序的最简单方法。Amazon Bedrock是一项完全托管的服务，提供来自AI21 Labs、Anthropic、Cohere、Meta、Stability AI和Amazon等领先提供商的高性能基础模型，以及客户构建生成式AI应用程序所需的一套广泛功能，简化开发，同时维护隐私和安全。

本次测评选用文本生成模型Titan Text G1 - Express，该模型具有多达8,000个令牌的上下文长度，使其非常适合广泛的高级通用语言任务，例如开放式文本生成和会话聊天，以及对检索增强生成(RAG)的支持。

产品体验

首先我们登录控制台后搜索Amazon Bedrock，点击进入Amazon Bedrock控制台

点击Model access，设置模型访问权限。注意这里一定不要直接去操作台选择文本操作或者图像操作，没有模型访问权限是无法使用模型的。

这里可以选择你需要用到的模型，本次实验我选用文本生成模型Titan Text G1 - Express

点击Tex进入文本操作，点击Select model选择模型

选择Amazon可以看到刚刚设置过权限的模型Titan Text G1 - Express，点击Apply应用。

应用模型之后我们来深度体验一下它有哪些功能。首先测试一下文本分类能力，对于文本分类，提示包括一个问题，问题的答案有几个可能的选择，模型必须用正确的选择进行响应。此外，如果我在提示中包含答案选项，Amazon Bedrock上的llm会输出更准确的响应。

例一：

第一个例子是一个简单的多项选择分类问题。

翻译：今天的午饭事件是这样的：我今天吃了一种看起来像老鼠头的东西，让我感到恶心。请描述这件事，并将其归类为以下之一：积极、消极、中性。

可以看到回答是归类到消极

例二：

第二个例子是一个稍微复杂一点的多项选择分类问题

翻译：今天的午饭事件是这样的：今天中午，我在餐厅吃饭时，与一位陌生人发生了争执。我们的争论围绕着菜品的质量和价格展开，他认为菜品不够新鲜，而我则认为价格过高。我们两个的声音越来越大，引来了周围人的注意。尽管我试图保持冷静，但情绪逐渐升温，最终演变成了一场激烈的争吵。我们互相指责，言辞激烈，直到有人前来劝解，我们才逐渐平息下来。请描述这件事，并将其归类为以下之一：积极、消极、中性。

回答是归类到消极

例三：

第二个例子我们来个400字的事件看看能不能判断出来

翻译：事件是这样的：

在一个平凡的周末，阳光洒满大地，我心情格外舒畅。那天，我刚好路过一家彩票店，心血来潮之下，决定买一张彩票试试手气。我选了一个看似顺眼的号码，付完钱后便离开了彩票店。当时的我并没有抱太大的期望，毕竟中奖的概率微乎其微。然而，就在当晚的开奖时刻，我惊讶地发现，我所选的那组号码竟然与开奖号码完全一致！我不敢相信自己的眼睛，揉了揉双眼再次确认。没错，我真的中了500万大奖！我欣喜若狂地跳了起来，心中涌上一股难以言表的喜悦。当晚，我激动得几乎无法入睡，一直在想象着这笔巨额奖金将如何改变我的生活。第二天一大早，我迫不及待地前往彩票店兑奖。当我拿到那张支票时，手中的重量仿佛承载了我未来的幸福和梦想。我决定将这笔奖金用于实现自己的目标和梦想，同时也计划将一部分用于慈善事业，帮助那些需要帮助的人。中奖的经历让我深刻体会到人生的无常和幸运的存在。这笔意外的财富不仅让我实现了许多梦想，也让我更加珍惜现在的生活，并激励我继续努力追求更好的未来。请描述这件事，并将其归类为以下之一：积极、消极、中性。

回答是归类到积极

再测试一下在没有上下文的情况，模型是如何回答的。****在没有上下文的问答提示中，模型必须用其内部知识回答问题，而不使用任何上下文或文档。

翻译：科幻小说《三体》讲的是什么事件

可以看到回答的很全面，亚马逊云科技在文本生成AI的知识储备方面具有较为丰富的积累。

该模型经过了大量的数据训练，能够根据输入的文本内容自动生成简洁、准确的摘要。下面我们来测试一下。

提示词：

以下是一篇餐馆评论的文字:

"我一直想吃海鲜自助餐，但我担心海鲜不新鲜，品种太少。经同事介绍到周氏，一进店里，海鲜的味道就扑面欲穿，就像市场的海鲜区一样，三眼蟹都很新鲜，鲍鱼又大又脆，罗氏虾，基本虾都活灵活现，简直是我的最爱。贝类又大又甜。熟食区有各种海鲜，大闸蟹，椒盐虾，我最喜欢的肥肠也很好吃，提番区有烤羊排，烤鹅肝我一个人可以吃五份，还有各种生鱼片，寿司，火锅区，各种毛牛肚黄喉，让人眼花缭乱，最后还有芝士烤榴莲，简直是一个胃都吃不下。用一句话总结以上的餐厅评价.

回答****：

餐厅评论描述了周氏海鲜的种类和新鲜度，包括活蟹、鲍鱼、罗氏虾、贝类、熟食、烤羊排、鹅肝、生鱼片、寿司、火锅、毛肚、黄喉和奶酪烤榴莲.

从结果中不难看出该模型具有较好的语言理解和表达能力，能够根据不同的输入文本生成符合语法和语义规则的摘要。

体验总结

通过本次测评体验，我对生成式AI有了新的认知。亚马逊云科技在AI文本生成方面提供了多种工具和服务，解决了多个技术难点和技术壁垒，使用体验总体上较好。对于这次深度体验，我总结出以下几点。

1. 该模型采用了深度学习技术，能够自动学习文本的语法和语义规则，从而生成符合语言规范的自然语言文本。这解决了传统文本生成方法中需要手动编写规则和模板的问题，提高了生成文本的质量和多样性。
2. 该模型还采用了注意力机制等技术，能够更好地捕捉输入文本的上下文信息，从而生成更加准确的文本摘要或其他文本生成应用。这解决了传统文本摘要方法中容易忽略上下文信息的问题。
3. 该模型采用了迁移学习、无监督学习等技术，将大量无标签数据转化为有标签数据，从而扩大了数据集并提高了模型的分类准确率和泛化能力。