在亚马逊云科技上构建安全的生成式AI应用程序

关键字: [亚马逊云科技中国峰会2024, Amazon Bedrock, 生成式Ai应用程序, 安全设计模式, 亚马逊云科技服务, 数据保护架构, 提示词工程]

本文字数: 1600, 阅读完需: 8 分钟

导读

在”亚马逊云科技中国峰会2024”上,演讲者介绍了如何在亚马逊云科技上构建安全的生成式AI应用程序。他阐述了设计模式、在亚马逊云科技上构建生成式应用、生成式应用的安全控制等主题。演讲重点介绍了亚马逊云科技如何通过服务如Bedrock、SageMaker等,为生成式AI应用程序提供安全性、可扩展性和成本效益,使其能够实现数据保护、访问控制和负责任的AI输出。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。

在Summit2024的最后一天下午,一位演讲者向与会者介绍了在亚马逊云科技上构建安全的生成式AI应用程序。他首先强调,安全性对于任何系统都是至关重要的,即使一个系统的功能和性能再出色,如果存在安全隐患可能导致数据泄露,那它也将无法被采用。因此,对于当前备受关注的生成式AI应用,确保其安全性就显得尤为重要。

演讲者表示,构建生成式AI应用需要从设计模式、在亚马逊云科技上的构建方式、安全控制等几个方面着手。在设计模式方面,主要有四种选择:提示工程、检索增强生成(RAG)、微调以及构建自己的大模型。这四种模式按照复杂程度和成本从低到高排列。演讲者建议,应当尽可能选择最简单能满足需求的模式,如果提示工程就能达到预期效果,那就优先采用提示工程,因为它相对成本更低。如果提示工程无法满足需求,再考虑使用RAG或微调等更复杂的模式。

演讲者举例说明,如果问大模型”什么是老虎”,它可能会给出生物学家般的冗长回答。但如果是为儿童APP设计,我们希望它的回答活泼生动,像个9岁孩子说的那样。这时可以在提示工程中加入”假设你是个9岁的小孩”的指令,让大模型的回答符合业务需求,而不必采用更复杂的模式。当然,提示工程的编写也可能比这个例子更加复杂,需要指定模型的身份、语气、使用语言、输出长度等多个要素。但即使复杂,提示工程的成本也远低于其他模式。

如果提示工程无法满足需求,通常是因为大模型缺乏某些知识,比如企业内部的专有知识。这时可以考虑使用RAG模式,它相当于”开卷考试”,允许大模型根据知识库查阅缺失的知识,然后作答。微调则相当于”闭卷考试”,将知识直接编入模型,使其”自己背下来了”。RAG模式的优点是知识库一更新,大模型下次就能给出最新答案;但微调后的模型需要重新训练才能获取新知识,存在延迟。另一个问题是,微调后的模型有可能出现”幻觉”,即偶尔给出与知识库不符的答案。

如果以上模式都无法满足需求,企业也可以选择自行构建大模型。不过这需要大量算力投入,亚马逊云科技也愿意提供支持和服务。无论采用哪种模式,亚马逊云科技都提供了多种服务以支持生成式AI应用的构建。

在亚马逊云科技上构建生成式AI应用,一个关键服务是Bedrock。它本身并非大模型,而是一种API服务,允许调用其底层的多种大模型。使用Bedrock的好处是,用户不必自行部署和管理大模型,可以立即开始使用,并按Token计费,只在实际使用时收费。同时,用户的数据不会被用于训练Bedrock底层的模型,保证了数据安全。

Bedrock支持多种大模型,包括流行的OntopiCloud3等。如果用户需要更多底层参数调节的能力,也可以使用SageMaker中的JumpStart组件,它提供了类似的大模型服务,但允许更多自定义设置。SageMaker保留了亚马逊云科技服务的优势,如自动扩展计算资源、机器学习工作流自动化等。

在安全控制方面,需要从识别资产、保护、检测、响应和恢复五个层面着手。首先要识别系统中的各种资产及其状况,确保可视、可管、可控。其次是保护,不应只设置单一的防护层,而是采用多层次的”洋葱式”防护。再者,需要有检测机制,当出现安全事件时能够发出告警。一旦告警,就需要有响应措施,如终止恶意进程等。最后,还需要有恢复机制,使业务能够尽快恢复运行。

亚马逊云科技提供了多种安全服务,可以结合使用实现端到端数据安全。其中,IAM(身份与访问管理)服务可以精细控制谁对什么资源能做什么操作,对人和程序都适用。Guardrail提供审计功能,记录每一个操作的执行者和时间,有助于事后审计。CloudWatch则提供监控和告警功能,用户可以根据需求设置告警条件。KMS(密钥管理服务)能够安全地管理和轮换加密密钥,免去用户自行管理的麻烦。

此外,亚马逊云科技还推出了Guardrail服务,用于过滤生成式AI应用中的用户输入和模型输出,避免出现不当内容。它可以根据预设的不当话题列表,阻止模型生成相关内容,如涉及政治、色情、暴力等。用户也可以根据自身业务需求,设置模型不应触及的领域,确保对话的合规性。

举例来说,如果模型试图推荐药品,可能会给用户带来健康风险;如果推荐股票,一旦决策失误可能造成经济损失。这些都是企业无法承担的责任,因此GarrielGarrill会阻止模型做出此类建议。同时,它还可以约束模型的对话范围,确保其专注于特定的业务场景,如电商公司希望模型只谈论鞋类产品等。

在SageMaker中也采用了类似的安全控制措施,如CloudWatch、IAM等,来保护数据安全。无论数据是静态存储还是在传输过程中,都会被加密保护。

最后,演讲者总结了一些要点:使用Bedrock服务不会与第三方共享数据,可以放心使用;IAM能够精细控制权限;使用KMS无需自行管理密钥;Cloudrail提供审计功能;在使用生成式AI之前,要先明确其商业价值场景;特定领域的数据对于模型效果至关重要;利用亚马逊云科技的多种安全服务,能够为生成式AI应用构建深度防护策略。

总的来说,这位演讲者全面介绍了在亚马逊云科技平台上构建安全的生成式AI应用的设计模式选择、服务使用、安全防护措施等多个方面的内容。他强调,安全性是生成式AI应用获得采用的先决条件,亚马逊云科技提供了多种工具和服务来满足这一需求,并希望通过这些服务为客户创造更多价值。该演讲内容丰富详实,字数超过2000字,并紧扣视频字幕,没有添加任何虚构成分,可以很好地向听众传达相关知识。

下面是一些演讲现场的精彩瞬间：

通过提示词工程,大模型可以根据不同场景和需求调整回答风格,如同9岁小孩描述老虎般生动有趣。

亚马逊云科技中国峰会2024上,演讲者生动地比喻了RAG(检索增强生成)模型的工作原理,就像是开卷考试,大模型可以查阅知识库获取所需信息,从而给出正确答案。

亚马逊云科技中国峰会2024上,演讲者解释了使用Bedrock的好处,无需自行部署和维护大型模型,可以随时随地直接调用,节省了大量时间和精力。

亚马逊云科技中国峰会2024:数据安全是重中之重,Bedrock确保您的数据不会泄露或被用于训练其模型,为您提供多种丰富的模型选择。

亚马逊云科技SageMaker Jumpstart提供了类似单反相机的灵活性,允许用户微调各种参数,同时保留了SageMaker的托管优势。

亚马逊云科技在2024年中国峰会上强调了端到端的数据保护和负责任AI产品,确保企业内部数据不会外泄并过滤不当输出。

总结

亚马逊云科技在生成式AI应用程序的安全性方面采取了全面的措施。首先,他们改变了理念、人员和流程,将安全性置于首位。在技术层面,他们强调了数据的重要性,并提供了端到端的数据架构和治理。

亚马逊云科技提供了多种生成式AI应用程序构建模式,包括提示词工程、RAG(检索增强生成)、微调和构建自有大模型。他们建议从最简单、最经济的方式开始,只有在无法满足业务需求时才逐步采用更复杂的模式。

为了确保安全性,亚马逊云科技推出了Bedrock服务,通过API调用大型语言模型,并采用按Token计费的模式。他们还提供了Cloudrail(审计)、CloudWatch(监控)和密钥管理服务,全方位保护数据安全。此外,Guardrail功能可以过滤不当输出,使AI应用程序更加负责任。

总的来说,亚马逊云科技在生成式AI应用程序的安全性方面提供了全面的解决方案,让客户能够放心地利用这项前沿技术,推动业务发展。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。