评估和量化人工智能风险：企业面临的挑战

人工智能可以通过自动化或改进现有任务来帮助企业，但与任何技术一样，如果管理不当，它也会带来风险。对于那些决定构建自己的人工智能或购买嵌入人工智能的软件的企业来说，评估其风险是确保合规性和数据安全的重要一步。

生成式人工智能采用的爆炸式增长放大了这些风险和新出现的风险。根据 Gartner 12 月份的一项调查，生成式人工智能的采用是未来两年法律、合规和隐私领导者面临的首要问题。

为了应对风险，组织可以彻底评估他们对人工智能的暴露程度，评估风险，并制定指导方针和缓解策略来处理最关键的业务问题。根据所涉及的人工智能类型，评估策略有所不同，通常分为三类：内部人工智能项目、第三方人工智能和攻击者恶意使用的人工智能。

如何评估内部人工智能风险

无论是使用现有的风险和质量管理框架，还是建立如何部署人工智能模型的内部框架，公司都需要了解内部如何使用人工智能。

风险和质量管理框架

ABBYY 是一家智能软件自动化公司，它已经评估和量化其人工智能模型的性能一段时间了。 ABBYY 多年来一直使用风险管理和质量管理框架，包括ISO 风险管理框架。此外，NIST 最近还推出了专门针对人工智能的第一代风险管理框架。该框架目前是自愿性的，但美国众议院于 1 月份提出了一项法案（参议院于 11 月份提出了类似的法案），要求联邦机构和供应商强制执行该框架。此外，NIST目前正在筹建美国人工智能安全研究所。

这些人工智能框架仍然非常初级。 现在还为时过早，这就是为什么 ABBYY 主要依赖旧的风险管理框架，该公司现在正在将其应用于其生成式人工智能项目。该公司的核心产品从文档中提取数据和内容，该公司为其传统人工智能模型设定了具体的准确性目标。 生成人工智能的风险管理和质量保证存在细微差别，这包括模型性能、数据治理和偏差。

对于某些用例，生成式人工智能可能还不适合。例如，在金融服务中，提供有关贷款处置的准确信息的能力极其重要，对他们来说，使用生成式人工智能技术是投机性且有风险的。保险索赔处理、医疗保健、就业和人力资源申请也是如此。

ABBYY 并不是唯一一家尝试生成式人工智能并采取谨慎方法评估相关风险的公司。Wiz 对15 万个公共云账户的调查显示，70% 的云环境现在都在使用 AI 服务，例如 Azure AI（包括 OpenAI）以及 Amazon SageMaker 和 Google Cloud 的 Vertex AI。最流行的人工智能平台是 OpenAI，它存在于 53% 的云环境中。紧随其后的是 Hugging Face 和其他几个开源项目。

了解人工智能在整个组织中的应用情况

这些人工智能模型给企业带来了多种风险，首先是合规风险——包括医疗保健和金融在内的一些行业对于如何使用人工智能模型有严格的指导方针。由于人工智能模型也需要数据来进行训练以及实时分析和嵌入，因此还存在隐私和数据丢失的风险。最后，人工智能模型可能不准确、有偏见、容易产生幻觉，或者随着时间的推移以不可预测的方式发生变化。

为了掌握这一切，请对人工智能的使用方式进行全面调查。这需要自上而下和自下而上的方法。企业领导者需要审查使用人工智能的流程，并与人工智能治理团队举行会议并进行审查，当领导者不知道正在使用什么人工智能时，就需要采用自下而上的方法——跟踪组织中的所有端点，以查找访问人工智能应用程序的系统和用户。 大多数都是基于云的应用程序，当人们使用它们时，IT 可以跟踪对 ChatGPT 的每个查询。

这并不是一个完美的解决方案。仍然有一些东西我们会怀念，它们会被遗漏。但这就是彻底的培训、指导和教育的用武之地，以便用户和员工可以在做愚蠢的事情之前检查自己。

建立自己的AI部署框架

公司还应该根据公司的合规环境和风险承受能力，建立一个如何部署人工智能模型的框架。例如，某些用例可能需要对所有人工智能输出进行人工审查。与生成人工智能相关的风险有几个方面。 这影响了多少人？影响有多大？帮助他们衡量这些风险，并为某些行业提供了一些初步的生成式人工智能风险基准。

这是很多咨询公司现在关注的领域。例如，安永会计师事务所正在开发人工智能信心指数。信心指数建立在五个标准之上：隐私和安全、偏见和公平、可靠性、透明度和可解释性，最后一个是问责制。这是索引的一个轴。另一个包括法规和道德。 然后你就可以获得你正在查看的不同流程以及它们部署的功能的热图，你可以仔细检查每一项，并对其应用加权评分方法。在法律和合规领域，这些计算相对简单。 大多数规则都是建立在评分基础上的，并且与这些事情保持一致。

在其他领域，有更多的自由裁量权。例如，公司可以根据可接受的人工智能使用政策等因素来评估成熟度。你可以对其应用数字分数来衡量基线，当它成为一个移动目标时，对其进行更改。

如何评估第三方人工智能风险

长期以来，公司在使用第三方服务时一直面临着数据保护的问题。任何供应商（电子邮件提供商、营销供应商、数据处理商）都可能有权访问敏感的公司数据，甚至可以将该访问权限传递给自己的供应商。在 GenAI 出现之前，企业在处理第三方风险管理方面已经够困难的了。现在，有了生成式人工智能，安全团队必须提高警惕。

以前不被视为安全风险的工具——照片编辑程序或语法检查器——现在可能具有生成人工智能功能，并将文本或图像发送给人工智能进行分析。 我们仔细研究了法律合同条款，我们在使用我们的数据来训练模型方面划定了界限——你可以使用我们的数据来生成结果，但随后你必须扔掉它。

由于供应商可以随时添加新的人工智能服务，因此保持领先地位是一项挑战。这需要时刻关注所有合同以及功能和服务条款的变化。但拥有一支优秀的第三方风险管理团队可以帮助减轻这些风险。例如，如果现有提供商决定使用 OpenAI 的服务将 AI 组件添加到其平台中，则会给组织增加另一层风险。 这与之前遇到的第四方风险没有什么不同，他们使用的是一些营销公司或一些分析公司。因此，需要扩展我的第三方风险管理计划以适应它，或者选择退出，直到我了解风险为止。

欧洲通用数据保护条例 (GDPR) 的积极方面之一是，供应商必须在使用子处理者时进行披露。如果供应商在内部开发新的人工智能功能，一个迹象可能是其隐私政策的变化。你必须掌控一切。能够在一个非常注重安全的地方工作，拥有一支优秀的治理、风险和合规团队来从事此类工作。

评估外部人工智能威胁

生成式 AI 已被用于创建网络钓鱼电子邮件和商业电子邮件泄露 (BEC) 攻击，并且 BEC 的复杂程度已显着提高。 如果你正在防御 BEC（每个人都是如此），那么无论对于人类还是机器来说，这不是一封正规电子邮件的线索都将变得更加难以检测。你可以让人工智能生成完美的电子邮件伪造和网站伪造。

为这种风险给出一个具体的数字是一个挑战。这就是网络安全的典型问题——用美元来量化风险，这与损失的规模、发生的可能性以及发生的频率有关。但还有另一种方法。 如果我从优先级和风险缓解的角度来考虑，我可以给你更高保真度的答案。

ABBYY 正在与专注于基于 GenAI 的威胁的网络安全提供商合作。 我们必须认识到 genAI 技术存在全新的攻击媒介。

这些风险也很难量化，但正在出现的新框架可以提供帮助。例如，2023年，网络安全专家 Daniel Miessler 发布了《AI 攻击面图》。人工智能领域的一些思想领袖和杰出人物正在做出一些伟大的工作。期望 CISA、NIST、云安全联盟、ENISA 等组织能够参与其中组建特别工作组和小组专门应对这些新威胁。

与此同时，公司现在可以做的是评估他们在基础方面做得如何（如果他们还没有这样做的话）。包括检查所有端点是否受到保护，用户是否启用了多重身份验证，员工发现网络钓鱼电子邮件的能力如何，补丁积压了多少，以及零信任覆盖了多少环境。当新的威胁出现时，这种基本卫生很容易被忽视，但许多公司在基本原则上仍然存在缺陷。随着攻击者加大活动力度，缩小这些差距将比以往任何时候都更加重要。

公司还可以采取一些措施来评估新出现的威胁。 有一些威胁模型可用于评估与人工智能相关的新风险，包括进攻性网络威胁情报和特定于人工智能的威胁监控。 这将为您提供有关他们的新攻击方法、检测、漏洞以及他们如何通过活动获利的信息，有一款名为 FraudGPT 的产品不断更新，并在暗网和 Telegram 上销售。为了防范使用人工智能的攻击者，建议企业审查和调整其安全协议并更新其事件响应计划。

黑客利用人工智能预测防御机制

黑客已经弄清楚如何使用人工智能来观察和预测防御者在做什么，以及如何即时调整。我们看到自适应恶意软件、多态恶意软件和自主恶意软件传播的激增。

生成式人工智能还可以增加攻击量。根据威胁情报公司 SlashNext 发布的一份报告，从 2022 年底到 2023 年第三季度，恶意网络钓鱼电子邮件增加了 1,265%。大型语言模型聊天机器人的一些最常见用户是利用该工具的网络犯罪分子帮助编写商业电子邮件妥协攻击并系统地发起高度针对性的网络钓鱼攻击。

普华永道今年 1 月发布的一项针对 4,700 多名首席执行官的调查显示，64% 的人表示，生成式人工智能可能会在未来 12 个月内增加其公司的网络安全风险。此外，人工智能还可以用来制造假新闻。一月份，世界经济论坛发布了《2024年全球风险报告》，未来两年的首要风险是什么？人工智能驱动的错误信息和虚假信息。不只是政客和政府容易受到影响。虚假新闻报道很容易影响股价——而生成式人工智能可以大规模生成极其令人信服的新闻报道。在普华永道的调查中，52% 的 CEO 表示 GenAI 错误信息将在未来 12 个月内影响他们的公司。

AI风险管理还有很长的路要走

Riskonnect 对 300 名风险与合规专业人士进行的一项调查显示，93% 的公司预计会出现与生成式 AI 相关的重大威胁，但只有 17% 的公司对整个公司进行了生成式 AI 风险培训或简介，并且只有 9% 的公司表示他们准备好管理这些风险。ISACA对 2,300 多名审计、风险、安全、数据隐私和 IT 治理领域的专业人士进行了一项类似调查，结果显示，只有 10% 的公司制定了全面的生成式 AI 政策，超过四分之一的受访者没有制定全面的生成式 AI 政策。计划开发一款。

这是一个错误。公司需要集中精力制定一个整体计划，以评估公司内生成式人工智能的状况。他们需要表明，正确行事对公司很重要，并准备好在发生问题时迅速做出反应并进行补救。 公众舆论——客户的法庭——非常重要，信任是圣杯。当一个人失去信任时，就很难重新获得信任。你可能最终会失去市场份额和客户，而这很难挽回。合作过的每个组织的每个元素都受到生成人工智能的影响。不仅以某种方式，而且以一种重要的方式。它是普遍存在的。它无处不在。