AI生成图像检测调研

构建数据集

GenImage: A Million-Scale Benchmark for Detecting AI-Generated Image

背景

目前缺乏包含来自最先进图像生成器的图像的大型数据集，阻碍了相关检测器的开发。

GenImage数据集特点

• 数据规模大：超过百万对AI生成的假图像和收集的真实图像。
• 内容丰富：包括广泛的图像类别，使用imagenet的1000个标签生成了130万张假图像
• 生成器先进：使用目前先进的扩散模型和GAN模型生成伪造图像
• 数据平衡：这些生成器生成的图片总数与真实图片基本一致，每个生成器生成的图片数量以及每一类生成的图片数量也基本保持一致

实验

• 交叉生成器图像分类任务：检测器在一种生成器生成的数据上训练，然后在其他生成器生成的数据上进行验证，以此考察检测器在不同生成器上的泛化能力。（准确率会明显降低）
• 退化图像分类任务：对低分辨率、模糊和压缩等退化图像进行识别
• 

Organic or Diffused: Can We Distinguish Human Art from AI-generated Images?*

背景

无法区分艺术作品是否是生成的

本文方法

• 构建数据集：收集了 7 种风格的真实人类艺术作品，并从 5 种生成模型中生成了与之匹配的图像。
• 检测：使用了 8 种检测器，包括 5 种自动化检测器和 3 种不同的人类群体（180 名众包工作者、4000 多名专业艺术家以及 13 名擅长检测人工智能的专家艺术家）来对图像进行分析和判断。

结论

无论是自动化检测器还是专业艺术家，在区分人类艺术和人工智能生成图像方面都表现出色，但也都存在一定的错误。自动化检测器在对抗性扰动方面表现较弱，而专业艺术家则会产生较高的误报率。

Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images

背景

重点关注人类的能力和尖端假图像检测人工智能算法的熟练程度。

对于人类的能力，我们对来自不同背景的参与者进行了人类评估，以确定他们区分真实和虚假图像的能力。 每位参与者的任务是完成一个由100个随机问题组成的测试，他们必须决定一张图像是真实的还是人工智能生成的。

本文方法

• 数据集收集：收集的新数据集fake2M，包含来自三种不同模型的超过200万张人工智能生成的图像，专门用于训练假图像检测算法。
• 新的人类感知评估基准（HP Bench）：评估人类区分真实照片和 AI 生成照片的能力。
• 模型检测评估基准（MP Bench）：评估先进的虚假图像检测 AI 算法对 AI 生成图像的检测能力。

HP Bench

• 召集50名志愿者
• 
• 每名志愿者完成一份100个图像分类问题的问卷，结果如下
• 
• 结果：研究发现人类在区分真实照片和人工智能生成照片方面存在显著困难，误分类率达到了 38.7%。这表明人类的视觉感知在面对高质量的人工智能生成图像时并不总是可靠的，容易受到图像内容、风格等多种因素的影响。

MP Bench

• 用多种深度学习模型对同样的图像数据集进行分析和识别，通过对比模型的预测结果与真实标签，来衡量模型的准确性、召回率等性能指标。
• 
• 结果：表现最好的模型的失败率为 13%。这说明即使是最先进的人工智能模型，在检测人工智能生成图像方面也仍然存在一定的局限性，无法完全准确地识别出所有的人工智能生成图像。

WildFake: A Large-scale Challenging Dataset for AI-Generated Images Detection*

背景

现有的一些数据集在规模、多样性或真实性方面存在不足，无法充分满足对检测算法进行全面评估和训练的需求。因此，作者提出了 WildFake 数据集，旨在为人工智能生成图像检测研究提供一个更具挑战性和更贴近实际应用场景的资源。

本文方法

收集新数据集WildFake

• 图像内容丰富，图像风格广泛，涵盖了各种场景、主题、风格和分辨率，包括人物、风景、动物、物体等不同类型的图像内容。
• 同时收集了多种模型生成的图像
• 

GAN模型生成图像检测

Learning on Gradients: Generalized Artifacts Representation for GAN-Generated Images Detection

背景

大多数图像检测器在未知领域的性能会急剧下降，因此开发一种通用的表示方法来描述生成模型产生的伪影对于假图像检测至关重要。

本文方法

• 引入梯度学习检测框架（LGrad）：使用预训练的 CNN 模型作为转换模型，将图像转换为梯度图。利用这些梯度图来呈现通用伪影，并将其输入到分类器中以确定图像的真实性。该框架将数据依赖问题转化为转换模型依赖问题。整体流程图如下：
• 详细方法：

1. 选择一个在大规模图像数据集上预训练过的CNN模型（resnet50，VGG16等）
2. 将图像输入到CNN模型中，得到中间层的特征图，计算特征图梯度，得到梯度图。
3. 使用带有标签的真实图像和 GAN 生成图像的梯度图特征向量作为训练数据，训练一个二分类器。
4. 将生成的梯度图输入到二分类器中，进行分类

CNN-generated images are surprisingly easy to spot... for now

背景

训练的二分类器泛化性弱，创建一个“通用”检测器，用于区分真实图像和CNN生成的图像，而不考虑生成模型的架构或数据集。这篇文章是通过一些实验研究检测器的泛化性

本文贡献

1)证明在CNN生成的图像上训练的取证模型比其他CNN合成方法表现出惊人的泛化程度；

2)提出了一个新的数据集和评估指标来检测cnn生成的图像；

3)实验分析了影响跨模型泛化的因素。

本文方法

• 构建数据集ForenSynths：收集了一个由11个不同的基于cnn的图像生成器模型生成的假图像组成的数据集
• 选择 ProGAN生成的图像 训练检测器，因其能合成大量图像且结构简单、生成图像质量高。构建含 ProGAN 生成图像和真实图像的大规模数据集，用 ResNet - 50 预训练模型进行二分类训练。训练时采用多种数据增强方法（如随机左右翻转、裁剪、高斯模糊、JPEG 压缩等）

实验

使用ProGAN数据集上训练一个“真假”分类器，并评估该模型对其他cnn合成图像的泛化程度

不同数据增强方式对泛化性的影响：在训练过程中使用数据增强方法，然后在未经过数据增强处理的测试集上进行测试，以验证模型的泛化能力。结果表明，即使测试图像没有经过后处理，通过在训练时使用数据增强，模型仍然能够很好地泛化到不同的生成器架构、数据集和训练方法上。

数据多样性对泛化性能的影响：比较了使用 ProGAN 的不同类别数据进行训练对分类器性能的影响。从图中可以发现，随着类别的增多，模型的泛化性逐渐增强。

扩散模型生成图像检测

DIRE for Diffusion-Generated Image Detection

背景

现有的图像检测方法在检测由扩散模型生成的图像时存在局限性，难以准确识别。需要一种有效的方法来检测扩散生成的图像。

本文方法

• 提出扩散重建误差（DIRE）：通过预训练的扩散模型来测量输入图像与重建图像之间的误差。（扩散生成的图像可以使用扩散模型近似重建，而真是图像难以重建）
• 构建数据集DiffusionForensics：建立了一个综合的扩散生成基准，包括8种扩散模型生成的图像
• 详细检测流程如下：

1. 向扩散模型编码器输入图像x，将其映射到噪声空间N（0，I）中，得到噪声向量XT
2. 将噪声向量XT输入解码器对图像进行重建，重建图像X‘
3. 求x与x’之间的DIRE值
4. 将DIRE输入到一个二元分类器中，使用交叉熵损失函数训练分类器

DIRE公式：，其中R（I（X0））表示重建的图像

Exposing the Fake: Effective Diffusion-Generated Images Detection

背景

准确检测出由扩散模型生成的图像变得至关重要。DIRE只考虑到了原始图像和重建图像之间的差异，这可能会忽略在整个扩散和反向扩散过程的中间步骤中封装的有价值的信息。

本文方法

提出逐步误差检测SeDiD：关注在生成过程中特定时间步的反向和去噪样本之间的误差。其中包括基于统计的SeDID-stat和基于神经网络的SeDID-nn

方法原理：利用扩散模型的确定性反向和确定性去噪计算误差这两个独特属性。在扩散模型中，生成图像的过程是逐步去噪的，每一步都有一定的计算误差，而真实图像不经过这样的生成过程，所以在误差特征上会与扩散生成图像有差异。

• 基于统计的SeDID-stat：计算图像中每一步的误差，若总误差小于阈值h，则图像是合成的
• 基于神经网络的SeDID-nn：使用resnet18构建一个分类网络，输入是步长TSE上扩散过程和反向扩散过程的中间结果。

LaRE2: Latent Reconstruction Error Based Method for Diffusion-Generated Image Detection

背景

扩散模型的发展极大地提高了图像生成的质量，使得区分真实图像和生成图像变得越来越困难。

在特征提取阶段，DIRE和SeDID都需要多步DDIM采样过程，这导致实际应用效率较低。此外，DIRE和SeDID将重建误差作为唯一特征，忽略了误差与原始图像之间的对应关系

本文方法

提出了LARE2来检测图像，其中包含LARE和EGRE两部分

• 提出潜在重建误差LARE：LaRE是在扩散反求过程中一步提取出来的，这比经过几十步去噪完全重建图像的效率要高得多。 此外，发现重建的损失与原始图像的局部信息频率呈正相关，高频区域的重建损失比较大。

将图像通过VAE转化为潜在向量，向潜在向量中加入步长为t的噪声，然后使用扩散模型预测噪声。使用预测噪声和加入的噪声计算误差LARE

• 提出EGRE：EGRE 的核心目标是利用 LaRE 中包含的与原始图像相关的信息，对图像特征进行优化，使得特征能够更好地揭示生成图像与真实图像之间的差异，从而提高检测的准确性。它通过两个子模块，即空间细化模块（ESR）和通道细化模块（ECR），分别从空间和通道的角度对特征进行处理，最后将处理后的特征进行整合，以获得更具判别性的最终特征表示。

空间细化模块（ESR）：使用自适应平均池化层将LARE和图像拥有相同的空间大小，使用多头注意力机制和LARE值增强图像中一些区域的权值，比如（一些高频区域权值比较大）。

通道细化模块（ECR）：将图像特征和LARE都转化为一维的，根据 LaRE 在通道维度上的信息，调整特征图在不同通道上的权重。

将空间细化后的特征和通道细化后的特征进行连接操作，将连接后的特征经过一个全连接层（FC layer）进行进一步的特征变换和映射，最终输出用于生成图像检测的特征表示。

Robust Image Watermarking using Stable Diffusion

背景

在使用数字水印进行AI生成图像检测的方法中，stable difusion可以用于水印去除攻击，现有的水印无法抵抗这种攻击

本文方法

提出了一种新的基于稳定扩散的水印框架ZoDiac：将水印注入到可训练的潜在空间中，从而即使受到攻击也可以在潜在向量中可靠地检测到水印。整体框架如下：

详细方法：

嵌入水印

1. 首先输入图像经过DDIM反演过程生成潜在向量
2. 将潜在向量转换到傅里叶空间，然后嵌入水印，然后再转换回潜在向量空间
3. 将潜在向量输入扩散模型生成带有水印的图像
4. 图像增强：将带水印的图像和原始图像融合

检测水印

1. 将待检测图像通过DDIM反演生成潜在向量
2. 将潜在向量变换到傅里叶空间，然后进行水印检测

How to Trace Latent Generative Model Generated Images without Artificial Watermark?

背景

现有的大多数方法（如图像水印和模型指纹等）在训练或生成过程中需要额外的步骤，这些额外操作限制了它们在没有此类额外操作的生成图像上的使用，并且可能会影响生成图像的质量。

本文方法

提出一种基于潜在特征反演的方法LatentTracer，其架构图如下：

• 基于梯度的优化方法：以重建误差作为损失函数，计算这个损失函数关于潜在输入的梯度。然后，根据这个梯度来更新潜在输入，使得损失函数的值逐渐减小，也就是让生成的图像越来越接近原始图像。如果最终生成的图像与待检测图像的误差小于阈值，则待检测图像是生成图像
• 起始点优化方法：直接使用基于梯度的方法进行潜在反转效率低下，利用自编码器的可逆性，将待检测图像输入到编码器中，生成的潜在向量作为解码器的初始输入

DRCT: Diffusion Reconstruction Contrastive Training towards Universal Detection of Diffusion Generated Images

背景

基于扩散模型的图像生成技术发展迅速，但也带来了恶意滥用的风险，因此检测生成图像的技术需求迫切。

本文提出一种重建样本的方法，图（a）表示真实图像的特征点分布在真实重构图像的特征点附近，表明两者之间的区分相对困难。然后通过用真实重构样本和生成后重构样本对预训练的检测器进行微调，检测器在区分真实图像和（真实重构样本）方面具有更好的判别能力，如图（b）。

本文方法

构建了DRCT-2M数据集：由自动生成和真实场景收集的两部分图像组成，用于训练和评估 DRCT 框架及现有检测方法，包含 200 万高质量图像，涵盖 16 种典型稳定扩散模型。

本文提出了一种扩散对比训练方法DRCT：包含重建和训练两个阶段，通过对真实和生成图像进行扩散重建，利用多种样本计算对比损失和分类损失，引导分类器学习特征表示，提高检测能力。其架构图如下：

图像重建：通过使用一个或多个选择的基于扩散的生成模型对真实图像和生成图像进行重建，产生大量图像样本，然后为分类器的训练做准备。

训练阶段：利用真实图像、真实重构图像、生成图像和假重构图像四种类型的样本计算对比损失和分类损失。 这两个损失函数指导分类器学习更好的特征表示，并将真实图像识别为真实图像，将其他三种类型的图像识别为假图像。

通用生成图像检测

A Single Simple Patch is All You Need for AI-generated Image Detection

背景

生成模型往往侧重于生成具有丰富纹理的patch，以使图像更逼真，而忽略了简单patch中存在的相机捕捉引起的隐藏噪声，因此本文使用patch中隐藏的噪声来鉴别图像

本文方法

• 为什么使用简单patch检测生成图像？

1. 目前，现有的高级生成模型往往侧重于生成图像中的复杂细节，而忽略了生成图像与真实图像之间简单内容的一致性
2. 图像中的复杂patch含有过多的冗余信息，可能会干扰检测器的决策过程。
3. 简单patch可以减少计算成本

• 提出SSP网络

将输入图像切分成n个m*m大小的patch，从中选出纹理多样性最小的patch。

使用SRM提取patch噪声后，将噪声图像输入resnet50中，用于区分真实图像和生成图像

• 增强模块和感知模块

当生成的图像质量下降时（例如，模糊或压缩伪影），检测性能倾向于下降。 因此，在SSP网络之前插入增强模块和感知模块。

感知模块相当于一个三元分类器，用于评估输入patch是模糊，压缩还是完整。如果输入的patch是模糊的或压缩的，增强模块分别执行去模糊和解压的任务。 如果patch既不模糊也不压缩，增强模块只重建输入patch。 针对上述三个任务，引入了三个可学习的嵌入，它们在感知模块预测的基础上进行组合，并作为条件信息注入增强模块。

将这些信息嵌入到增强模块中，从而将低质量的patch转化为高质量的patch。

FakeBench: Probing Explainable Fake Image Detection via Large Multimodal Models

背景

人工智能生成的假图像越来越难以与真实图像区分，这对假图像检测模型提出了新挑战。单纯的真假二元判断缺乏人类可理解的解释，可信度不足，而大型多模态模型为实现可解释的假图像检测带来了可能性

本文方法

构建包含文本真实性描述的多模态数据库FakeBench，其中包含三个部分：FakeClass，FakeClue，FakeQA

• FakeClass：包含6000张不同来源的真假图像，用于评估 LMMs 对图像真实性的简单检测能力，包含真假图像及其对应的封闭式问题和答案。
• FakeClue：包含3,000张假图像的伪造线索的详细描述，评估 LMMs 对假图像的推理和解释能力
• FakeQA：以问答形式探究 LMMs 对假图像细粒度伪造方面的分析能力，包含假图像、关于 14 个维度伪造线索的问题和答案。

FakeBench 数据集包含 3000 张真图像和 3000 张假图像，共 54000 个问题，平均答案长度在 FakeClue 中达到 127 个单词，且根据图像伪造的显著程度分为三个难度级别。

实验

• 基线模型：评估了 14 种最新的 LMMs（包括 10 种开源模型和 4 种闭源模型）以及 5 种单模态假图像检测模型。
• 评估指标：对于 FakeClass 中的封闭式问题，计算模型回答的准确性；对于 FakeClue 和 FakeQA 中的开放式问题，计算模型回答与标准答案的文本相似度，并采用自动指标和 LLM 辅助评估方法。
• 解释和推理能力实验：GPT - 4V 和 InstructBLIP 在解释和推理任务中表现较好，但多数 LMMs 在推理方面表现较差
• 细粒度伪造分析能力：GPT - 4V 在细粒度伪造分析中表现出色

GenDet: Towards Good Generalizations for AI-Generated Image Detection

背景

现有的检测方法在面对已知的生成器时能够有效检测，但对于未知生成器生成的图像检测效果不佳，主要原因是在检测过程中没有充分放大真实图像和虚假图像的输出差异，导致两者的输出分布较为接近，增加了对未知生成器图像的分类难度。

之前使用师生模型的方法：只使用正常样本来最小化教师和学生之间的输出差异，并且在训练过程中不看到异常数据。 因此，当输入正常样本时，输出差异很小，而当输入推理中的各种异常样本时，输出差异很可能很大。然而，直接将该框架应用于人工智能生成的图像检测并不能充分利用训练中假图像的信息。

本文方法

提出了一种对抗性师生差异感知模型GenNet，该架构包括师生差异感知学习和广义特征增强。模型架构如下：

• 师生差异感知：输入真实图像时，使教师网络Nt与学生网络Ns的输出差异最小化，输入生成图像时使输出差异最大化
• 广义特征增强 ：在训练时促进生成图像教师网络和学生网络的输出尽可能小，在推理时，去掉特征增强器，使得经过增强后的虚假图像在教师模型和学生模型中的输出差异更大，同时保持对真实图像的特征影响较小。

训练流程

1. 首先使用交叉熵损失函数在训练集上训练一个教师模型Nt
2. 如同（a）使用真实图像训练学生网络，将真实图像特征输入教师网络和学生网络，使教师网络与学生网络的输出最小化。
3. 如同（c）使用生成图像训练特征增强器，将生成图像作为输入，最小化教师网络和学生网络输出的差异，目的是向师生输入假图像时保持较大输出差的难度。从而提高模型的泛化性。
4. 如同（b）使用生成图像训练学生网络，将生成图像特征输入教师网络和学生网络，使教师网络与学生网络的输出最大化。
5. 教师网络和学生网络训练完成之后，训练一个二元分类器，将教师网络和学生网络的差异作为输入，将分类结果作为输出。

Mastering Deepfake Detection: A Cutting-edge Approach to Distinguish GAN and Diffusion-model Images

背景

设计开发一种能够检测CNN生成图像的模型

本文方法

• 数据集收集：收集了由九种不同的生成对抗网络（GAN）架构和四种扩散模型（DM）正确生成的原始图像和假图像的数据集。 该数据集共包含83,000张图像，真实数据和深度伪造数据分布均匀，各占一半。
• 多层分类方法：第一层检测图像是否是AI生成的，第二层检测是由GAN还是扩散模型生成的，第三次检测是由哪个特定的模型生成的。模型架构图如下

PatchCraft: Exploring Texture Patch for Efficient AI-generated Image Detection

背景

随着生成模型的飞速发展，基于语义信息的检测器的性能急剧下降。纹理特征在图像分析中具有重要作用，作者认为通过探索纹理patch的方式可以为人工智能生成图像的检测提供新的思路和方法。

对于现有的生成模型来说，合成真实的丰富纹理区域是一个很大的挑战。 基于这一原理，本文利用图像中丰富和贫穷纹理区域之间的像素间相关对比度来进一步提高检测性能。

本文通过只基于progan生成数据集上训练，却可以很好的泛化到其他GAN模型甚至扩散模型

本文方法

构建数据集：新建了一个全面的人工智能生成图像检测基准，其中包括17种流行的生成模型

提出了一种新的Smash&Reconstruction预处理方法，用于擦除全局语义信息和增强纹理补丁

相关方法

通过对比图像中纹理丰富区域与纹理简单区域的像素间相关度来判断图像是否是生成的。

对于真实图像，由其相机设备（CMOS）和ISP（图像信号处理）决定的富纹理区域和差纹理区域之间的像素间相关性非常接近。而生成图像像素间相关性差距较大，检测方法如下图

详细方法

• 纹理patch提取：将输入图像划分为多个patch，即纹理patch。对每一个patch，评估其纹理的丰富程度，将纹理patch按照丰富度进行排序。
• 图像重建：根据排序结果将patch分为两部分，第一部分纹理丰富的patch，将它们组合起来重建出一幅新的图像。第一部分纹理贫乏的patch，将它们组合起来重建出一幅新的图像。
• 像素间相关性差异计算：分别计算丰富纹理图像和贫乏纹理图像中像素之间的相关性。
• 检测分类：使用大量已知的真实图像和人工智能生成图像及其对应的特征，训练一个分类器。将待检测的图像经过上述的纹理补丁提取、图像重建和特征提取等步骤后，输入到训练好的分类器中，分类器根据学习到的特征模式判断该图像是真实图像还是人工智能生成的图像。如果分类器判断该图像具有与人工智能生成图像相似的纹理特征，那么就可以将其判定为人工智能生成图像；反之，则判定为真实图像。

整体流程框架如下

Towards Universal Fake Image Detectors that Generalize Across Generative Models

背景

之前的方法都是训练一个分类器，分类器可以找到生成模型生成图像里面包含的一些特征，比如伪影之类。所以如果其他生成模型生成的图像没有这个伪影，那么就会被判定为真实图像。

为了纠正这种错误，本文使用未经过训练的特征来区分假图像和真实图像，以执行真假图像分类。

本文方法

使用未经真假图像数据集训练的特征空间区分真假图像：本文使用CLIP - ViT 模型的特征空间，模型流程图如下：

• 选用CLIP - ViT 模型，将真实图像和生成图像数据集通过CLIP - ViT 模型映射到特征空间中，构建特征库，然后使用以下两种方法检测图像
• 最近邻方法：将待检测图像通过CLIP - ViT 模型生成图像特征，通过余弦距离求出在特征库中与待检测图像特征最小的距离，如果最小距离对应图像时真实图像，则待检测图像就是真实图像
• 线性检测方法：在CLIP - ViT 模型生成的特征后加一个线性分类层，使用特征库中的特征训练这一个分类层。

Rethinking the Up-Sampling Operations in CNN-based Generative Network for Generalizable Deepfake Detection

背景

近年来，研究人员侧重于从研究检测算法的角度来研究AI生成图像的检测，而忽略了对生成器架构的研究。

在GAN模型和扩散模型中都用到上采样操作。研究表明，上采样操作可以产生广义伪影。特别是，由上采样引起的图像像素之间的局部相互依赖

本文方法

提出相邻像素关系（NPR）的概念：旨在从图像像素中捕获局部上采样伪影，从而实现广义伪造图像检测。

对于输入特征图，经过上采样得到，然后再经过卷积层输出图像。将图像I和上采样后的特征图划分为个WxH个网格，每个网格为LxL大小的图像块，表示输出图像中的一个网格，表示他的相邻像素关系（NPR）

最终，将提取的 NPR 特征作为伪造图像检测分类器的输入，用于训练和判断图像的真伪。