基于人工智能的网络空间内容安全治理方法研究

文 | 中国移动通信集团有限公司信息安全管理与运行中心 乔喆、刘阳、江为强；中国信息通信研究院安全研究所 静静、刘明辉

近年来，人工智能技术对社会的发展产生了深刻的影响和推动作用。然而，这为网络空间内容安全治理带来了诸多挑战。以电信网络诈骗为代表的新型诈骗方式已经逐步呈现出跨地域、跨行业、跨网络等明显特点，而且诈骗手法也逐渐变得“智能化”。它们从早期单一诈骗方式发展演变为基于人工智能生成内容（AIGC）技术，并结合获取的个人信息生成精准诈骗脚本。此外，诈骗脚本格式和内容的变化速度也快速迭代变换，这些变化给网络空间的内容安全治理领域带来巨大挑战。不断“智能化”的电信网络诈骗手段对网络空间内容安全融合分析能力、治理时效性等提出了更高的要求。因此，需深度结合新型人工智能技术，持续提升内容安全治理水平。

一、网络空间内容安全治理领域面临着风险与挑战

现阶段，通信运营商网络空间内容安全治理体系主要采用“两级联动”的治理模式。第一级是针对全国普遍存在的不良信息传播问题，采用集中发现、集中治理、集中处置与运营的方式，实现一点违规全国知晓的治理效果。第二级是针对各省、各地区存在的个性化不良信息治理问题，进行源头治理、个性化治理与运营等环节，实现从事前预防、事中控制、事后处置三方面对不良信息传播链条进行综合治理。

随着人工智能技术的迅速发展和普及，网络空间中人工智能技术高效的学习能力、快速迭代能力、复杂的多样性等特点愈发明显。同时，使用 AIGC 技术生成文本、图片、音频、视频等信息的门槛也逐步降低，这促成了网络空间中的不良信息内容愈发复杂、类型变化愈发迅速、趋势变化愈发难以捉摸。

一是传统网络空间内容安全治理效率存在瓶颈。现阶段，不良信息传播脚本迭代速度与类型变化愈发迅速，像垃圾消息、骚扰电话、不良网站、电信网络诈骗等治理条线的不良信息中存在大量类似脚本内容，传统治理模式需要耗费大量时间识别难以辨别真伪的不良信息。例如，基于人工智能换脸技术可以在短时间内生成大量图片信息，且这些图片让用户难以辨识其信息真伪，很可能被用于欺诈、虚假宣传等不良行为，严重危害了用户合法权益。因此，这要求我们在短时间内识别并处置出大量类似的 AIGC 技术生成的违规内容信息。

二是传统网络空间内容安全治理手段存在局限性。现阶段，AIGC 技术被不法分子滥用等情况存在，这导致不良信息监控量呈每年上升趋势，不良信息传播脚本内容愈发复杂。传统单一条线的治理手段已经不能及时识别人工智能生成的不良信息脚本内容。例如，人工智能语音合成技术已经可以生成相对自然、流畅的合成语音信息，通过这种以假乱真的音频信息可能让用户难以辨识对方真实身份，这让用户极易被不法分子实施骚扰或诈骗。因此，这要求我们在内容安全治理环节中优化治理手段，实现及时识别 AIGC 技术生成的违规内容信息等。

为有效应对这些风险与挑战，我们宜针对以垃圾消息、骚扰电话、不良网站、电信网络诈骗为主的治理场景，利用人工智能识别能力，从文本内容、音频指纹信息、图片内容等纬度实现对不良信息内容的快速甄别与处置。一方面，这可以节省人工监测环节的工作量，提升不良信息处置效率。另一方面，这可以有效提升治理环节的识别与监测效率，基于人工智能技术快速构建场景模型，识别新型不良信息样本，做到早发现、早抑制、早处置。

二、人工智能技术引入网络空间内容安全治理领域技术研究

在网络空间内容安全治理领域，结合人工智能技术的优势，可以实现对不良信息数据的快速甄别、快速处置、实时持续优化，从而提升网络空间内容安全治理效率，增强治理效果。

一是利用人工智能技术提升网络不良舆情监测能力。在内容安全治理领域，舆情监测是事前预警与防范的重要手段。传统舆情监测能力仅限于获取互联网信息，对于互联网舆情信息的实时融合关联分析能力较为薄弱。但是结合人工智能自动文本摘要技术，可实现对互联网上文章、评论、帖子等信息进行实时监测和融合分析，从而更好地了解公众对其关注话题的态度和情绪，及时掌握社会不良舆情动态，提升事前预警与防范水平。

二是利用人工智能声纹识别技术增强治理效果。目前，骚扰诈骗团伙具有换卡不换人的鲜明特点，这导致仅以关停号码、关闭语音或短信功能等治理手段，并不能有效遏制不良信息传播。与传统的身份识别方法相比，人工智能声纹识别技术具有更高的准确性和安全性，通过建立违规人物声纹采集、特征提取、识别算法等能力，结合汇聚历史违规人物的语音特征，建立声音指纹黑名单库，可实现从人物语音特征纬度识别诈骗犯罪团伙，从而提升内容安全治理效果。

三是利用人工智能语音识别技术提高治理效率。网络空间不良信息传播途径有逐步从违规文本内容向违规语音内容转移的趋势。基于传统语音转写能力并结合人工智能语音关键词检测技术，可以识别带有特定关键词的语音信息，相比传统语音识别能力，这种方法具有响应速度更快、算力消耗更低、高定制化等特点。此外，还可以通过语音自然度、流畅度、音频质量、语音情感表现力等方面进行综合分析和识别，提高具有特定关键词的语音识别准确率，从而甄别疑似违规语，保护用户权益不受侵害。

四是利用人工智能图片识别技术提升治理水平。传统的基于违规图片相似比等识别技术只能满足对极为相近的违规图片进行机器研判和处置，利用人工智能技术基于对历史违规图片进行深度学习及建模，可以实现更加智能化和高效化的图像识别和分类能力，并有助于对违规图片类型进行趋势分析，发掘疑似违规图片的发展动态，这样就可以实现对违规图片内容的提前发现、提前处置，并可以为潜在被骗客户提供及时预警，保护客户权益不受侵害。

五是利用人工智能外呼机器人技术辅助自动化治理。人工智能外呼机器人是基于机器学习和自然语言处理等技术，实现自动化呼叫、语音识别等功能的智能语音应答系统。在内容安全治理领域，传统的回拨取证方式是通过人工向疑似骚扰诈骗分子进行回拨电话验证其行为特征，这需要耗费大量的时间，极大影响治理效率。在发现疑似诈骗分子时，可利用外呼机器人技术对其行为进行验证，识别对方说话的内容，并根据需要进行自动回答，实现自动智能化验证。同时，可结合人工智能语音合成等技术，并根据业务需要，将提醒的内容转换为语音提示，提高机器人交流效率。

三、结束语

综上所述，滥用 AIGC 技术生成并传播虚假信息等系列行为不仅侵害用户权益，甚至影响国家安全与社会稳定。建议在以下方面采取措施：在行业监管方面，应加强对人工智能生成与传播互联网内容的监管力度，推动研制人工智能技术滥用管理相关规范标准，倡导内容合规传播等行业自律及协同治理机制；在企业落实方面，基于“以人工智能对抗人工智能”的理念，开展基于人工智能的内容安全监测识别与自动化审核技术手段研究与推广应用，精准抑制网络空间内的不良信息传播；在公众意识方面，应积极开展内容安全典型案例普及和教育活动，提高公众对人工智能生成不良信息的辨识能力，发现疑似不良信息要积极举报，协同维护清朗网络空间。

（本文刊登于《中国信息安全》杂志2023年第5期）