人工智能安全风险分析及应对策略

文│中国移动通信集团有限公司信息安全管理与运行中心 张峰 江为强 邱勤 郭中元 王光涛

人工智能（AI）是引领新一轮科技革命和产业变革的关键技术。人工智能赋能网络安全的同时，也会带来前所未有的安全风险。本文在介绍人工智能技术赋能网络安全关键场景的基础上，分析人工智能因潜在技术滥用、新技术应用等带来的安全风险，并提出相应的安全建议与应对策略。

一、人工智能的发展现状及产业影响

（一）人工智能发展现状

我国“十四五”规划纲要明确大力发展 AI 产业，培育 AI 等新兴数字产业。在党的二十大报告中，AI 与生物技术、新能源、新材料、高端装备、绿色环保等行业一起被列为新的增长引擎。近年来，AI 技术在通信、制造、金融、教育、医疗和交通等领域的深入应用，引领了新一轮科技革命和包括通信领域在内的产业变革浪潮。

AI 技术的三大核心要素是算法、算力和数据。算法是 AI 的“大脑”，目前算法应用主要区分为决策式和生成式。前者是根据已有数据进行分析、判断、预测；后者是基于已有数据进行模仿式创作，生成全新的内容。近日，被全球用户广泛应用的 AI 聊天机器人 ChatGPT 即采用了生成式超大规模预训练变换模型算法。算力是 AI 的“四肢”，是算法和数据的基础设施，AI 算法模型对于算力的巨大需求，推动了今天芯片甚至算力产业的发展。数据是 AI 的“饲料”， AI 算法需要通过海量数据的训练而不断完善。

（二）人工智能相关产业影响

随着 ChatGPT 成为全球焦点，国内外科技巨头纷纷推出或计划推出类 ChatGPT 的竞品，如微软成功发布了集成 ChatGPT 的新版搜索工具BING；谷歌快速推出聊天机器人产品 BARD；百度推出了国内首个生成式文档服务“文心一言”；京东计划推出 ChatJD 产业版。ChatGPT 有力推动了 AI 产业发展，将促进内容生产方式变革并对 AI 产业上下游产生重大影响。

在通信领域，AI 应用可帮助改进信息通信服务能力，例如，其在自然语言上的强大能力可用于提升智能客服、智慧运营、欺诈监测等运营服务功能，通信网络中的海量数据有助于训练 AI 模型，使网络能够实现自主运行。同时，AI 在富媒体多模态数据处理上的能力，将为运营商在政企业务上提供重要支撑，助力千行百业实现数字化转型。

不过 ChatGPT 给人们带来的对网络安全的担忧也是目前争议的热点。以 ChatGPT 为代表的生成式人工智能技术在网络安全领域是一把“双刃剑”，一方面，ChatGPT 可以赋能网络安全，提升风险检测与防护能力；另一方面，ChatGPT 技术的滥用将对国家、社会、公众带来负面影响，同时，AI 新技术的脆弱性也使得 ChatGPT 应用自身面临安全风险。

总体上， ChatGPT 在产业内展示出比较显著的“五力”：

一是引领力：ChatGPT 引领新一轮生成式 AI 浪潮，同时引领了 AI 领域商业化进程加速。二是创新力：具备模拟人类思维模式创作新内容的能力，标志着 AI 进入生成式 AI 技术应用时代。三是心智力：ChatGPT 表现出了类似人类的同理心、情绪处理、意图猜测等能力。四是计算力：目前 ChatGPT 依托的大算力服务器，已导入了至少 1 万颗英伟达高端 GPU，未来有望借助算力网络进一步提升计算能力与效率。五是破坏力：ChatGPT 的不当使用甚至滥用将有可能会对国家政治军事、社会伦理、网络空间安全等带来负面影响甚至造成严重破坏。

二、人工智能在安全领域的应用

ChatGPT 等 AI 应用在网络安全领域的应用效果明显，其自动编程能力、分析能力及自身集成的知识库能够帮助网络安全从业者提升工作效率，改进组织的网络安全计划。

（一）代码生成与检测能力

可用于开发漏洞挖掘工具。如目前可以利用 ChatGPT 的编程能力，开发漏洞挖掘工具，能够提供完整且定制化的漏洞修复方案。

具备恶意软件检测能力。如 ChatGPT 能够分析恶意软件的说明和指令，判断恶意软件中常用的语言模式，从而帮助检测新的恶意软件变体，辅助提升恶意软件检测能力。

（二）基于知识库的安全分析能力

一是辅助开展安全告警评估。如基于 ChatGPT 知识库，可筛选安全告警中的恶意事件，提高告警准确性和效率。

二是全网收集安全威胁情报。如可以使用 ChatGPT 的语言模型来分析多种来源的大量文本，以识别潜在的网络威胁并了解攻击者使用的战术、技术和程序。

三是具备密码口令强度检测能力。如可利用 ChatGPT 生成潜在的密码口令组合，用于测试口令强度进而识别弱口令。

（三）异常特征训练与分类能力

AI 应用通过对海量异常、正常标记数据的智能训练，可以对不良信息、有害信息等进行分类输出与预警。如通过训练并区分钓鱼邮件的异常特征，可检测出新的网络钓鱼企图。

三、人工智能应用的安全风险

（一）人工智能技术滥用带来的安全风险

以 ChatGPT 为代表的 AI 应用，若被不当使用或滥用很有可能影响到国家安全、政治安全、社会稳定、企业利益和个人用户权益等诸多方面。

存在国家政治军事风险。第一，存在由于民族或政治偏见带来的严重不公平问题。ChatGPT 等 AI 应用可能对不同的政治信仰、国家、种族、团体、人群、个体进行有失公平的区别对待，在具有复杂历史背景的问题上与美国官方立场保持一致。第二，基于用户画像进行情报收集和影响政治主张。一方面，AI 平台通过收集个人信息进行画像，获取到国家或军队涉敏人员，再通过诱导或黑客技术等方式获取其设备上的涉密信息或情报。另一方面，还可基于用户画像进行深度引导并传播政治主张，影响用户对党和国家政策的认知。第三，辅助军事决策并应用于军事打击。未来装备 AI 应用的真人或机器人能够更加实时地响应战场上分队或单兵的交互信息，提供最新的战场态势和战术建议，从而极大提升战斗能力。

存在不良信息传播风险。****一方面因 AI 应用内容过滤机制不完善造成不良信息传输。AI 应用虽然对交互内容做了过滤策略，但由于多媒体内容识别技术不足、监控策略不完善、无法对生成内容进行“前置审核”等原因而使得过滤机制被绕过，从而造成交互或传播内容中存在涉及政治、诈骗、身份伪造、涉黄等不良信息。另一方面，AI 产生不良信息内容易误导或诱导用户。恶意行为者可以使用语言模型来生成大量旨在影响公众舆论或传播错误信息的垃圾邮件或虚假信息从而恶意影响用户认知。

存在网络攻击利用风险。一是 AI 帮助黑客提高网络攻击方面的技术知识与能力。网络安全从人人对抗、人机对抗逐渐向基于 AI 的攻防对抗发展演化。随着新一代 AI 技术的诞生与发展，攻击方将利用 AI 更快、更准地发现漏洞，发起更隐秘的攻击。二是攻击者利用 AI 编程能力来生成网络攻击工具。ChatGPT 自动生成代码的能力也给黑客打开了新世界的大门，让他们能够更为便捷地设计、编写和执行恶意代码与指令。有网络安全组织已通过测试发现 ChatGPT 生成的代码可有效利用系统漏洞进行网络攻击。三是 AI 基于社会工程学知识生成网络钓鱼等信息。攻击者可以使用来自社交媒体或其他来源的大量文本数据，通过 ChatGPT 等 AI 工具训练社工模型，使其生成极具说服力的网络钓鱼电子邮件或消息来诱骗受害者泄露敏感信息。

（二）人工智能应用自身面临的安全风险

AI 融合了深度学习、自然语言处理等新技术，并向多模态技术演进。这些技术本身存在安全漏洞，多种技术的组合也会产生系统性安全问题。其脆弱性一旦被恶意利用，将对 AI 业务的健康运行起到破坏作用。

一是存在数据安全风险。用户在使用 ChatGPT 等 AI 应用时可能不自觉输入个人隐私数据，这些数据经过训练可构建出用户画像。AI 平台收集的原始数据与衍生数据的归属权、控制权与使用权等问题目前在法律上还是很难界定。即使用户要求删除，也很难保证其会主动实施擦除操作，存在个人隐私信息泄露风险。

二是存在算法安全风险。一方面存在算法被欺骗攻击风险。攻击者通过在被检测的场景中添加干扰信息来欺骗算法，以让 ChatGPT 等 AI 应用产生错误的预测结果。特别在图像识别、生物特征识别中，此类攻击威胁很大。另一方面，存在 AI 数据投毒攻击风险。AI 语料库被污染或将恶意数据注入训练集，可让算法产生不正确或误导性结果，从而导致用户人身伤害或权益损失，且责任无法定位与追溯。

三是存在平台及供应链安全风险。ChatGPT 等 AI 平台系统仍存在通用的网络安全风险，如算法后门嵌入、代码安全漏洞等。此外，高端芯片是ChatGPT等系统所用的大型语言模型研发的“刚需”。在高端芯片领域受美国出口管制的国家，可能因高端芯片供给不足导致在全球“模型竞争”中处于劣势。同时，大型语言模型研发成本高，为维护竞争优势，科技巨头未开源旗下高水平模型，随全球用户数量增加，国外企业经过训练，将进一步优化模型，“强者恒强”的现象将更为突出。

（三）人工智能应用伴生的社会伦理风险

ChatGPT 等 AI 应用迅速发展的同时，也引发了违背正常社会秩序和社会伦理的风险。一是引发 AI 替人的失业恐慌情绪。如 ChatGPT 能够完成文本创作、代码编写、方案策划等，使得相关行业从业者产生失业的担忧。二是引发 AI 生成内容知识产权问题。如基于 ChatGPT 采集、训练、引用或生成的艺术作品集、代码集等，必然会与原有的知识产权等权利相冲突，亟待建立新的社会契约和法律制度。三是影响正常社会秩序。ChatGPT 代写作业、协助作弊、代写论文等，可能会影响正常的社会秩序。

四、相关建议

（一）国家层面：健全人工智能安全政策法规，强化 AI 滥用法律约束

一是****依据相关国家顶层规划制定人工智能安全相关国家战略。2017 年，国务院发布了《新一代人工智能发展战略》，“十四五”规划和二十大报告里面均提到了发展人工智能的规划。国家层面应制定并落实人工智能国家战略，以应对日趋激烈的国际竞争。二是****布局人工智能法规体系，应覆盖道德伦理、人身安全、个人隐私保护、算法规范应用、防范技术滥用和知识产生等方面。三是****推动现有法律法规向人工智能领域延伸适用，国家及行业主管部门推动《网络安全法》《数据安全法》《个人信息保护法》《反电信网络诈骗法》等法律在ChatGPT 等 AI 领域的延伸适用。四是强化 AI 滥用法律约束，结合《互联网信息服务算法推荐服务管理规定》《互联网人工智能算法深度合成管理规定》《生成式人工智能服务管理办法（征求意见稿）》和《科技伦理审查办法（试行）》等 AI 安全相关规定，强化对 AI 技术滥用等的法律约束。

（二）产业层面：重点关注 AI 技术自主可控及算力网络赋能 AI 大模型发展

一是提升软硬件实力，实现高端芯片与 AI 框架自主可控。算力是 AI 应用的“发动机”，高端芯片是刚需，与国际领先芯片企业相比，国产芯片还未具有竞争力，需要持续研发和攻关。二是算力网络赋能 AI 大模型发展。人工智能应用需要海量的训练数据和强大的算力作为支撑，我国应充分发挥自身在大数据和算力方面的优势，将大数据和大算力应用于推动 AI 产业发展，这将助力实现 AI 核心能力的自主可控。

（三）行业层面：倡导 AI 技术合规使用和加强行业自律

一是建立行业监管制度并开展合规性评估审查。建立健全 AI 服务行业监督管理相关制度与标准。包括算法分级分类管理、算法推荐服务安全管理、AI 滥用举报等，并开展 AI 应用安全合规性评估审查与处置，实现行业监管闭环。二是创新研究应用人工智能赋能网络安全技术。一方面，利用 AI 技术赋能针对复杂网络攻击的防御能力，使用 AI 技术应对其带来的网络安全风险；另一方面，研究利用 AI 技术提升企业组织在网络安全攻击检测、数据资产识别与风险监测、业务安全风控、不良信息识别、电信反诈、安全威胁分析、深度伪造识别等方面的能力。三是做好元宇宙等 AI 融合场景的安全风险梳理与防护技术储备。对于元宇宙和 AI 融合关键场景，要抓紧开展安全技术研究储备，提早防范大规模人工智能安全事件发生。

（四）企业层面：加强 AI 安全防护体系建设，保障 AI 业务健康安全运行

一是制定出台企业组织 AI 安全总体策略，编制企业标准规范与技术指南；二是配备 AI 安全领域专业人员，支撑 AI 安全新技术新业务安全风险评估与创新技术研究；三是对员工在日常工作或对外服务中使用 ChatGPT 等 AI 应用行为进行规范，防范企业组织及客户数据泄露等风险；四是强化安全技术手段建设，建设涵盖网络安全、算法安全、数据安全与隐私保护等功能的 AI 安全管控能力，为企业组织的 AI 能力与应用提供安全防护，保障 AI 业务健康发展。

（五）公众层面：强化人工智能技术滥用防范意识，保障自身权益

一是强化安全宣传。利用传统媒体和新媒体平台等多渠道推进精准宣传，帮助公众提升对算法带来的歧视、操纵、隐私侵犯、电信诈骗等风险，以及对社会工程攻击，邮件钓鱼诈骗恶意行为等的识别能力。二是提升防范意识。公众要谨慎提交个人信息及企业数据，防范 AI 应用个人隐私窃取、有害言论误导诱导等风险。防范利用 ChatGPT 热点或仿冒知名 AI 应用收集敏感信息实施诈骗等行为。

（本文刊登于《中国信息安全》杂志2023年第5期）