第一章 人工智能安全概述

1.1 什么是人工智能安全

目前并没有统一的定义，人工智能安全是人工智能与网络安全的交叉学科，两个学科已经建立了深厚的理论和技术体系，进一步看清两个学科的交叉点的逻辑关系是理解人工智能安全的关键。

1. 攻击与防御 对于防御者而言，使用人工智能新技术加强网络空间安全技术；对于攻击者而言，引入人工智能方法提高攻击的效率和效果。
2. 知识与模型 信息和数据促成了人工智能方法，然后通过人工智能方法要实现知识的挖掘、分析和表示，知识位于更高的层次体现在语义特征方面，知识具有更强的蕴含表达能力。
3. 漏洞与利用 安全问题根本在于存在漏洞及其利用途径，0day普遍存在于新技术新系统中，以知识处理为中心的新型应用为攻防开辟了新途径。

综上，人工智能安全有两大方面的含义：

1. 人工智能理论和技术有效地提升了网络空间安全攻击与防御的智能化水平；
2. 人工智能模型与算法越来越多地被发现存在漏洞和安全风险，由此导致人工智能应用成为网络空间安全的新问题。

1.2 人工智能安全问题与脆弱性

1.2.1 人工智能及其问题的出现

人工智能在基础理论方面主要包括：搜索，推理，智能计算，机器学习理论，表示学习，智能规划，神经网络等；在应用领域方面主要包括：数据挖掘，专家系统，自然语言处理，图像处理，智能语音，生物识别，计算机视觉，智能机器人。

人工智能研究的派系

• 符号学派。使用计算机可处理的符号对人类认知过程进行模拟和计算，典型的成果有定理机器证明，归结方法，非单调推理理论等。
• 仿生学派。强调基于大量简单的神经元和它们之间的复杂的相互连接及其相互作用实现人工智能，典型的成果有人工神经网络，类脑模型等。
• 控制论学派。该学派认为智能有机体需要适应环境变化实现智能化，通过模拟人在环境中的行为来研究智能的生成机制，提出了自适应自组织和自学习的理论，形成了智能控制和智能机器人技术。

近年来在大数据的推动下，形成了新的大数据驱动下的人工智能安全体系，由人工智能应用，人工智能计算平台，数据平台和分布式平台组成。

• 数据平台存储不同来源的大数据，提供训练数据和测试数据；
• 分布式平台为人工智能模型提供计算能力，是算法执行的基础环境，典型的有云平台；
• 人工智能计算平台封装了各种人工智能模型，为上层提供计算对象的调用；
• 人工智能应用涉及到各种应用领域，负责模型选择和验证，用户交互和业务流程。

1.2.2 人工智能安全的层次结构

人工智能安全的层次可以划分为数据层，算法层，模型层和框架层。

1. 数据的重要性 数据来源的多样性，数据流动的快速性等大数据特征成为影响人工智能安全的重要方面。
2. 算法的重要性 算法是智能的实现者和模型的操作者。
3. 模型的重要性 模型处于核心地位，模型的训练和使用涉及数据和用户等多个环节，增加了安全风险。
4. 框架的重要性 开源框架的开放性和平台模型的独立性，使平台安全，模型安全变得很棘手。

综上，人工智能安全从抽象到具体包括了决策安全，模型安全和平台安全。决策安全包括：伦理安全，道德安全和算法安全；模型安全包括：算法安全，隐私安全和数据安全；平台安全包括：数据安全，AI平台安全和网络系统安全。此外，数据安全也很重要，包含两个方面，一是数据防篡改等安全问题属于平台安全；二是模型训练的角度看数据安全，与模型安全相关。同样，算法安全也包含两个方面，一是模型训练和使用中的算法安全，二是决策过程中的算法安全。

1.2.3 人工智能安全的脆弱性

数据和模型是人工智能安全的核心，人工智能对数据要求训练数据和测试数据具有相同的分布才能保证模型是有效的。

1. 数据分布假设的脆弱性。 训练数据和测试数据可能不来自于同一个数据源，因此攻击者可以利用二者的分布差异性造成的影响来实施攻击，例如可以通过制造恶意注入数据或者改变测试数据使得二者有明显差异导致模型的性能下降。
2. 模型更新机制中的脆弱性。 训练中模型需要及时的收集新数据来充实训练样本，以便对模型进行更新。攻击者可以通过恶意伪造或者修改的数据进入训练集污染后续的训练过程。
3. 数据处理过程中的开放性。 例如应用开发中涉及多个部分，人员会接触一些敏感的数据，攻击者恶意收集敏感数据，并与其拥有的知识进行连接，从而导致敏感数据的泄露。
4. 计算平台漏洞 计算平台也是开源分布的，平台的系统层，网络层等会存在固有的漏洞被攻击者利用，同时平台提供API调用存在攻击者恶意访问发送请求的可能。
5. 人工智能决策中的漏洞 例如某些AI使用者存在道德伦理，正义等方面的偏差时，会造成一些决策的偏差，会被攻击者利用。

1.3 人工智能安全的基本属性

信息安全的基本属性包括机密性，完整性，可用性，可控性和不可否认性。

1. 机密性 机密性保证信息由授权者使用，不泄露给未经授权人员。在机器学习系统中，模型类型，模型结构，模型参数和训练数据等是核心部分不可泄漏；此外模型用于对抗环境的部分是攻击的主要途径；机密性也包含在模型学习时对原始数据的个人隐私的保护能力。
2. 完整性 完整性是存储和运输信息的过程中原始信息不允许被更改，攻击者往往对部分数据感兴趣，从而针对此数据使得其计算结果产生偏差。
3. 可用性 可用性是保证信息和信息系统随时可以为授权者提供服务，合法用户对资源的使用不会被拒绝，人工智能模型遭受的投毒攻击等都是由于样本识别错误，降级了模型的可用性。
4. 可控性 可控性保证管理者对信息实施必要的管理控制，满足应用管理的需求。人工智能突出问题是对智能模型和算法的管理和控制。
5. 不可否认性 运算各方为自己的信息行为负责，无法否认。人工智能无法否认在信息采集，处理，挖掘，决策等各环节对信息所做的行为。
6. 可解释性 人工智能系统应当从可解释的角度评估，保证决策依据具有良好的可解释性，避免在安全攸关的AI应用领域采用黑盒算法。
7. 道德性 尊重生命权力，坚持公平正义，处理风险隐私。

1.4 人工智能安全的技术体系

人工智能安全的技术体系如下图所示：

如图，中间层的各种技术依赖于底层的人工智能安全的数据处理，在大数据人工智能中，重要性体现在两个方面：一是攻击手段和防御手段的特征使得收集到的原始数据可能存在数量不足，类别分布不均匀和数据噪音等问题；二是对抗攻击通过修改数据样本使得训练数据和测试数据存在噪音偏差和异常。因此数据处理是重要部分。

模型的对抗攻击和防御中，攻击者的目的是破坏机器学习系统扰乱机器学习系统监测识别功能以及机器学习系统中进行隐私窃取，典型的攻击方法是投毒攻击，逃避攻击，迁移攻击等针对分类器的可用性攻击，也包括隐私安全等隐私性攻击；从防御角度来看，尽可能发现机器学习系统的脆弱性，进行安全评估。

位于技术体系上层的是各种网络安全问题和典型的对抗攻击，除了传统网络安全问题外，自然语言，图像识别和口令生成等新场景下的人工智能安全也很重要。

1.4.1 人工智能安全的数据处理

人工智能安全的数据处理方法有：小样本学习，非平衡数据分类，噪声数据处理。

小样本学习：样本增强，特征空间压缩，样本迁移等角度解决样本不足给模型训练带来的影响。

非平衡数据分类：通常由于某些类别的样本在实际中难以获得，对非平衡类数据处理分别从数据层面和算法层面采用欠采样，过采样，集成学习等多种途径减轻非平衡数据的影响。

噪声处理：包含属性噪声和标签噪声，人工智能安全侧重于标签噪声，技术上通过噪声清晰，离群点过滤和噪声鲁棒学习等方法克服噪声对模型训练的影响。

1.4.2 人工智能安全用于网络攻击与防御

人工智能安全的攻击和防御涉及到物理层到应用层的各部分。

网络层中利用端口可以进行入侵检测，拒绝服务攻击等，网络层的行为特征主要体现在流量和数据包内容，人工智能方法就是基于攻击者和正常用户的差异建立分类器模型，需要提升辨别能力的原始网络层特征，包括IP地址，端口，错误率，响应时间等。

应用层涉及各种安全问题，包括内容安全和应用安全。垃圾邮件检测是比较早的应用层安全问题，首先要进行原始特征的选择和样本的构建，数据样本构造需要足够多的垃圾邮件和非垃圾邮件。针对社交网络，虚拟空间等安全问题，例如社交网络账号冒充，特定群体挖掘。

1.4.3 人工智能对抗攻击与防御

人工智能对抗攻击体系包括了理论和攻击方法。理论部分主要针对人工智能的基础模型及其算法，攻击者的目标与机器学习的优化目标相反，但在函数定义上差别不大。

从攻击者的角度主要有白盒攻击和黑盒攻击，白盒攻击需要知道模型的目标函数，特征空间等，基于梯度的攻击的典型白盒攻击；黑盒攻击是假设攻击者除了在应用层进行模型交互外没有其他模型的知识可以使用，迁移攻击是典型的黑盒攻击方法。

针对无监督学习，由于无监督学习没有可优化的目标，因此主要攻击手法是基于启发式的方法，例如两个簇之间加入对抗样本使得聚类算法将两个簇视为一个簇。

针对这些攻击方法，防御策略包括数据从，模型层和算法层。数据层：噪声控制，离群检测等；模型层：噪声容忍使得模型有一定的容错能力；算法层：正则化训练，对抗性训练，防御蒸馏和算法鲁棒性。

1.4.4 机器学习隐私攻击与防护

从机器学习隐私保护的技术角度分为数据角度的隐私保护和计算架构角度的隐私保护。

数据角度的隐私保护

1. 数据层的隐私保护。其针对原始数据的隐私保护，目前为止K匿名及其各种变体和差分隐私是其中典型方法。
2. 模型的隐私保护。现在的做法是对模型参数实施隐私保护。 计算架构角度的隐私保护：在分布计算模式下，安全多方计算和联邦学习是满足需求的一种计算形式，其不要求各参与单位把敏感数据共享出来。

1.4.5 人工智能安全治理技术

人工智能的治理需要解决以下四方面的相关技术问题。

1. 数据偏见。导致这种结果原因在于训练数据存在一定的类别非平衡或者属性不平衡，使用非平衡数据处理方法解决数据本身的偏差问题。
2. 公平正义。预防大数据“杀熟”行为在公平正义的问题。
3. 数据标注质量问题。标注的人与标注任务之间专业匹配度，标注工作量等许多因素影响标注的质量，会导致人工智能算法缺少泛化能力。
4. 人工智能伦理。例如推荐算法导致低俗内容频繁被访问推送；甚至可能导致危险的行为，例如AI换脸过度索取面部信息。

1.4.6 人工智能平台安全

人工智能在云计算技术驱动下以服务方式展现出来，典型的是机器学习即服务。

在云上建立人工智能所需要的计算环境，通过云计算自动调度和虚拟化等技术实现算力的灵活分配，使得智能计算在云上满足。

网络运行安全问题主要信息安全技术包括密码技术，身份管理技术，权限管理技术，防火墙技术等；人工智能平台自身的安全例如TensorFlow平台存在的安全隐患；数据安全问题更关注安全存储，不被恶意篡改。

1.5 人工智能安全的数学基础

1. 概率论与数理统计。 条件概率与独立性，随机变量及其分布，多维随机变量与分布，方差分析和回归分析等应用于数据挖掘；贝叶斯定理是分类器构建基础之一；条件随机场，隐马尔可夫模型等应用于大数据分析的词汇和文本分析。
2. 线性代数。 许多应用场景都可以抽象成矩阵表示，矩阵分解是分析对象特征提取的途径，矩阵代表某种变换和映射，分解后得到的矩阵代表了分析对象在新空间的新特征。
3. 最优化方法 目前最优化方法通常是基于微分，导数的方法，例如梯度下降，爬山法，最小二乘法，共轭分布等，对抗攻击样本中普遍使用基于梯度的计算方法。
4. 离散数学

1.6 人工智能发展趋势

1. 对人工智能的攻击方法会越来越多。
2. 人工智能模型攻击和防御的迭代式发展。
3. 人工智能技术发展进一步推动网络空间安全的攻击和防御技术。
4. 新的互联网应用会使人工智能安全变复杂。
5. 人工智能安全治理技术发展。