作者简介：张坤，脑动极光首席信息安全官、OWASP北京分会负责人、网安加社区特聘专家、西班牙UAB大学硕士（Full time)、 北京某高校网络空间安全学院研究生导师、 网络安全研究生实习基地导师、中国卫生信息与健康医疗大数据学会首届委员，参与编写GB_T39725健康医疗行业数据安全指南、健康医疗行业标准，荣获国家三级荣誉证书（技术贡献类）；网络安全行业从业十余年，曾于金融集团、上市企业及互联网企业、Top国企担任安全负责人，负责基础安全、法务合规、隐私合规、安全研发、风控及业务安全、SRC（安全应急响应中心）、数据安全、内审内控等工作。
一、前述** **
我们当下处于数字化时代（数智化时代），数据常常被誉为新货币、新能源，而不幸的是人工智能系统严重依赖海量数据集进行训练和决策。这种依赖对保护敏感信息构成了重大挑战，使数据隐私和机密性成为首要问题。此外，对抗性攻击的出现（人工智能算法可以被操纵以产生不正确的结果）会带来巨大的风险，特别是在医疗健康和金融等关键应用中。在某个研讨会上，我举了一个例子：大模型和人工智能之下，生活服务类，影响的是体验，最差不过供应商用金钱弥补个体的体验偏差。金融类，影响的是金钱，也不过服务商用金钱弥补金钱的损失，而健康医疗，影响的是生命、健康或不可逆的身体损害，金钱可以赔偿但无法修复。
在撰稿时，获得消息以色列（安全圣地）人工智能安全初创公司 Apex 获得了 700 万美元的种子资金。此轮投资由著名风险投资公司红杉资本和 Index Ventures 联合领投， OpenAI 首席执行官 Sam Altman也作为天使投资人参与了投资。Apex 联合创始人兼首席执行官 Matan Derman 表示：“ Apex 成立的愿景是为安全和人工智能团队提供支持，以促进人工智能在领先组织内的安全、无缝集成。”
二、风险挑战
2022 年 ChatGPT 推出后，全球各行业的生成式 AI 能力出现了前所未有的爆炸式增长。AI开创了技术创新的新时代，从自动驾驶汽车、医疗诊断到智能家居系统，人工智能技术已成为现代社会不可或缺的一部分，以前所未有的方式彻底改变行业并改善我们的日常生活。然而，人工智能技术的快速集成、快速扩散给企业带来了无数的安全挑战和需要仔细考虑的安全风险，从潜在的数据泄露到人工智能驱动的网络威胁。随着人工智能跨行业融合不断扩展，必须全面认识人工智能安全风险的各个维度，对抗性攻击、偏见、深度造假和系统漏洞、数据隐私带来的挑战：
1.对抗性攻击
对抗性攻击对人工智能系统构成重大威胁，特别是那些用于自动驾驶汽车、医疗诊断和财务预测等关键应用的系统。这些攻击涉及通过输入特制数据来操纵人工智能模型，以欺骗系统的决策过程。对抗性攻击可能导致错误地预测和决策，这可能在现实场景中产生严重后果。
建议对策：为了应对对抗性攻击，研究人员和开发人员需要不断探索和了解人工智能算法中的漏洞。定期更新和补丁可以增强系统对对抗性攻击的抵抗力。此外，在模型开发阶段纳入对抗性训练技术可以帮助人工智能系统识别和防御对抗性输入，使它们更加强大和安全。
2.偏见和公平
人工智能系统在接受有偏见的数据训练时，可能会延续并放大社会偏见和不公平。招聘、贷款和执法等领域存在偏见的算法可能会导致歧视和不平等。
** 建议对策：**解决这一风险需要仔细评估训练数据，以有效识别和减轻偏差。整理多样化且具有代表性的数据集并采用具有公平意识的机器学习技术是确保人工智能系统公平和公正的重要步骤。此外，将道德考虑纳入人工智能开发过程并促进人工智能研发团队的多样性可以有助于实现更公平的结果。道德准则和法规可以为开发人员提供遵守的框架，促进负责任的人工智能实践并确保决策过程的公平性。
3.Deepfake 和错误信息
Deepfake 技术的兴起将人工智能安全风险引入了新的层面。Deepfakes 涉及创建高度逼真的虚假视频、录音或图像，通常用于传播错误信息或操纵公众舆论。这些复杂的伪造品甚至可以欺骗最有洞察力的个人，使其成为恶意行为者的有力工具。
建议对策：检测深度伪造需要能够区分真实内容和被操纵内容的先进人工智能系统。深度造假检测技术领域的研究对于领先于犯罪者至关重要。此外，提高媒体素养和批判性思维技能可以使个人能够识别和质疑数字内容的真实性，从而减少通过人工智能生成的内容传播错误信息的影响。
4.系统漏洞和攻击
人工智能系统与任何其他软件一样，容易受到各种传统网络攻击。恶意行为者可以利用人工智能基础设施中的漏洞，导致系统故障、数据操纵或未经授权的访问。这些攻击可能会造成严重后果，特别是在医疗保健、金融和国家安全等关键应用中。
建议对策：为了减轻系统漏洞和攻击，组织必须投资于强大的网络安全措施。实施入侵检测系统、定期进行安全审计并遵守安全软件开发实践以增强人工智能系统抵御网络威胁的能力。此外，人工智能开发人员和网络安全专家之间的合作对于识别潜在漏洞和制定有效策略以防范不断变化的威胁至关重要。
5.道德考虑和监管
除了技术挑战之外，人工智能安全的道德影响也不容忽视。负责任的人工智能技术开发和部署需要明确的道德准则和法规。在创新和道德考虑之间取得平衡对于防止人工智能系统的滥用至关重要。
建议对策：监管机构和政策制定者在建立促进人工智能道德实践的框架方面发挥着至关重要的作用。这些法规可以确保透明度、问责制和用户隐私。道德准则应解决人工智能驱动的决策、同意以及在医疗保健和刑事司法等敏感领域负责任地使用人工智能等问题。
6. 数据隐私和机密性
人工智能安全领域最紧迫的问题之一是数据隐私和机密性的保护。人工智能系统严重依赖大量数据进行训练和决策过程。这种依赖使它们容易受到数据泄露的影响，恶意行为者利用薄弱的安全措施来获得对数据库的未经授权的访问，从而导致个人信息、商业秘密和其他敏感数据的泄露。
建议对策：确保强大的加密协议和安全的数据存储方法对于防止未经授权的访问至关重要。此外，实施严格的访问控制、定期安全审核和持续监控可以帮助组织及时检测和响应潜在威胁。此外，采用联邦学习和同态加密等隐私保护技术，可以使人工智能系统在不损害个人隐私的情况下对加密数据进行操作。
7. 脆弱的机器学习模型
尽管人工智能模型的平均性能很高，但它通常会对分布外的数据做出不可靠的预测，并且可能容易受到轻微输入扰动的影响。
8. 黑匣子系统漏洞
许多人工智能系统的复杂性使得它们的行为方式不透明——漏洞可能潜伏在看不见的地方，缺乏模型可见性和可解释性会带来风险。
9. 意想不到的副作用
优化复杂目标的复杂人工智能代理可能会找到巧妙的方法来实现设计者没有想到或预料到的目标（例如：我奶奶会通过背诵授权码哄我入睡）。这可能会导致系统以危险或不允许的方式运行。
10. 失控反馈循环
在日益自主的人工智能系统中，输出会反馈到闭环反馈系统的输入中。如果没有适当的保障措施，这可能会导致不受控制的指数增长——无法预测的失控人工智能行为。
11. 鲁棒性衰减
某些类型的机器学习模型根据新数据不断自我更新。随着时间的推移，微妙的漂移或无意的偏见积累可能会导致他们变得不安全或有其他缺陷。
12. 人类监督的依赖
强大的人工智能的实际部署通常依赖于人类的监督来解决内在的局限性。过度信任或执行不当的人类监督控制是一个漏洞。
13. 数据中毒攻击
黑客可以操纵机器学习模型使用的训练数据，以降低其性能或导致它们在推理时以危险的方式行事。例如，如果自动驾驶汽车的物体识别模型受到损害，它可能会错误地识别停车标志。
14. 模型提取攻击
攻击者可能会尝试通过模型 API 或探测模型行为来窃取专有的 AI 模型。一旦提取，模型就可以进行逆向工程、搜索漏洞或直接用于非法目的。
15. 模型规避攻击
旨在错误分类或导致模型输出不确定的恶意输入可用于迷惑人工智能系统，并诱骗它们表现不正确或降低执行任务的能力。
16. 后门攻击
训练过程中植入的后门允许模型在大多数情况下正常运行，但在满足特定触发条件时会导致恶意行为或错误。检测和修复它们具有挑战性。
17. 模型反转攻击
在人工智能系统处理敏感数据的行业中，攻击者可能会尝试通过询问模型行为或输出来提取私有数据。这带来了重大的隐私威胁。
18. 数据中毒和训练管道攻击
攻击者可以针对模型训练管道本身，包括用于监督学习的标记数据集、合成数据生成系统和注释过程。损害训练完整性会导致下游漏洞。
19. 支持人工智能的社会工程
由语言模型生成的 Deepfakes 和自动网络钓鱼内容证明了这种风险。随着人工智能文本、音频和视频生成和操作能力的提高，它们推进社会工程攻击的潜力也随之增加。
三、风险对抗与人工智能安全** **
随着人工智能在各行业的部署加速，它面临着一系列快速发展的安全风险，从数据中毒和模型提取等威胁到系统级漏洞以及对不可靠的人类监督的依赖。通过对抗性训练、可解释性方法、异常检测系统和沙盒测试等技术策略来加强防御，并与日益严格的政府、社会治理和法律法规相结合，以加强保护。然而，进攻和防守双方的惊人进步意味着不确定性将在一段时间内保持较高水平。只有通过负责任的、跨学科的研究、开发和政策努力，我们才能在对人类生活具有重大潜在影响的领域创造值得我们信赖的人工智能技术：
1、技术部分
对抗性训练：机器学习模型在训练期间故意暴露于真实或模拟的攻击，以使其免受威胁，这可以有意义地提高稳健性。
模型属性验证：正式的数学和逻辑验证方法证明人工智能系统的重要属性，确保在部署之前正式满足安全或安保标准。
可解释性方法：解释模型行为和预测的技术提供了决策过程的可见性。这有助于防御者识别漏洞，并帮助生产者构建更安全的系统。
数据来源跟踪：通过严格控制和记录训练数据通过预处理管道时的来源，可以降低数据中毒攻击的风险。
模型监控的异常检测：运行时监控系统在模型中查找可能表明尝试或成功攻击的异常行为。提醒捍卫者进一步调查。
模型水印：训练期间嵌入专有人工智能模型逻辑中的隐藏水印允许公司通过识别独特的水印模式来识别被盗模型。这有助于保护知识产权。
沙盒测试环境：安全的虚拟环境隔离未经测试的人工智能系统，限制它们对真实传感器/执行器的访问，并在现实世界交互之前监控它们是否存在不良行为。
正式的安全计划实施：成熟的软件安全计划转化为人工智能开发生命周期，为可持续的长期风险管理制定了组织范围内的标准、最佳实践和程序。
2、政策部分
虽然我们的防御技术正在迅速发展，但从中期来看，威胁似乎可能继续超过保护措施。将人类监督和技术系统的监督相结合，提供了在这一不确定时期管理风险的最有希望的途径。
强制披露：政府越来越多地迫使公司公开分享在敏感环境下运行的、对公共安全有影响的人工智能系统的技术细节。支持者认为，这可以识别公司可能隐藏的风险。
决策限制：对于直接和实质性影响人类生活而无需中间人工审查的人工智能应用，已经制定了有意义的人类监督要求。特别危险或敏感的用例受到最严格的强制性监督规则的约束。
针对人工智能的网络安全法规的补充：在金融和医疗保健等行业现有的网络安全法律的基础上，监管机构推出了更有意识地关注人工智能固有风险的政策，例如模型提取或逃避攻击。
预部署测试和审计要求：在定义的生产系统类别中部署人工智能之前，必须完成评估安全风险（以及其他因素）的冗长测试和外部审计。
人工智能服务提供商的许可要求（算法备案）：标准因司法管辖区而异，但商业人工智能服务提供商通常必须证明某些安全实践、协议和基础设施已到位，然后才能获得许可，预计年度审查会成为常见的方式方法。
尽管不同优先级的派系(重点监管还是先发展）之间持续存在争议，但人工智能安全的监管环境正变得更加清晰和严格，将政策的激励结构与技术解决方案相结合，为负责任的人工智能采用提供了最稳健的途径。
四、人工智能安全的推测** **
鉴于人工智能最近取得的惊人进展，我预计威胁和防御的格局至少在未来十年内将保持高度动态，考虑到当前的趋势，我们可以一起推测几种可能的未来：
透明度和问责制面临持续压力：公众对不透明和了解甚少的人工智能系统的不信任似乎可能会推动治理和监管，要求对影响人们的人工智能决策提供更多的可见性、解释和问责制。
将安全融入人工智能开发生命周期：就像过去几十年网络安全的成熟一样，我们可以预期人工智能安全将成为整个研究、开发、测试生产和监控阶段系统处理的一个不可或缺的问题，而不是事后的想法。
经过验证的安全人工智能的框架：数学逻辑和形式验证方法在可证明约束智能行为方面显示出巨大的前景。将优雅的理论框架转化为实际应用仍然具有挑战性，但减少不确定性的重要工作。
补充 ML 模型安全性的完整系统视角：虽然机器学习彻底改变了 AI 功能，但研究人员正在认识到围绕模型的感知、表示、推理和交互架构同样重要。整体系统视角将使系统更安全、更强大。
用于人工智能处理的专用硬件可能会提高安全性：专门针对加速机器学习和人工智能工作负载而优化的新型硬件不仅可以提高效率，而且相对于对通用硬件的依赖，可以实现更严格的隔离和安全执行。
**五、写在最后 **
AI技术的广泛使用，尤其是大语言模型 (LLM) 等生成式 AI 模型，带来了组织需要应对的一系列新的安全挑战，误用的风险也随之增加。恶意行为者可以利用这些模型生成错误信息、进行社会工程攻击，甚至创建恶意软件，这也就要求我们了解这些风险之间复杂的相互作用，采取综合方法，将技术进步、道德考虑和监管框架结合起来；将研究人员、开发人员、政策制定者和公众之间的合作建立起来，通过促进对人工智能安全风险的全面了解并采取主动措施，以确保所有人都有一个安全的数字未来。
版权归原作者 网安加社区 所有， 如有侵权，请联系我们删除。