与领先的超分辨率深度神经网络模型相比，Adobe的超分辨率有多有效?这篇文章试图评估这一点，Adobe的超级分辨率的结果非常令人印象深刻。
超分辨率技术
超分辨率是通过提高图像的视分辨率来提高图像质量的过程。拥有一种算法，可以有效地想象出在更高分辨率的图像中将会出现的细节。
有很多正面评论描述了Adobe Photoshop的Super Resolution的出色表现，例如“ Made My Jaw Hit the Floor”。在超分辨率方面进行了多年的研究和试验之后，我想对图像分辨率增强和实际图像质量指标进行更为实证的比较。在本文中，我将进行比较：
- 双三次插值法
- Adobe相机Raw的超级分辨率
- 信息蒸馏网络超分辨率
双三次插值算法
双三次插值是放大图像的最常用方法，通常会导致放大图像的外观模糊。几乎每个图像编辑器都支持双三次插值，实际上，大多数Internet浏览器使用双三次插值来显示大于其物理尺寸图像。
Adobe Camera Raw的超级分辨率
Adobe Camera Raw超分辨率，或同等的Photoshop Camera Raw滤镜是最近非常快速和容易使用的超分辨率方法。
Adobe公司表示，这是一种先进的机器学习模型，可以对数百万张照片进行训练，但没有给出更多细节。更多信息来自Adobe的博客。
似乎该算法是一种深度神经网络，Adobe从推理速度、性能和处理非常大分辨率图像的能力上都取得了显著的成果。
信息蒸馏网络(IDN)超分辨率
通过信息蒸馏网络快速准确的单幅图像超分辨率展示了研究人员在深度卷积神经网络结构上训练的模型。
由于信息蒸馏网络(IDN)的超分辨率性能仍处于最先进水平，且具有很好的泛化性，因此我们选择了它进行比较。
研究人员还在相对高分辨率的图像上评估了他们的超分辨率结果，而不是早期基于深度神经网络的超分辨率通常使用的典型的“邮票”大小的图像。
质量(损失)度量
哪一种质量指标是最好的，这是一个有争议的问题，在不同的研究人员之间存在差异。我个人认为SSIM和MAE是最好的质量指标，尽管PSNR是学术研究评价超分辨率模型和算法最常见的指标。
为了比较，也将双三次插值的度量包括在内，在这些分辨率下，双三次放大的结果是一个相对高质量的图像。
峰值信噪比（PSNR）
峰值信噪比（PSNR）对于评估图像增强技术非常常见，例如“超分辨率”，其中信号是地面真实/原始图像，而噪声是模型无法恢复的误差。尽管PSNR是一个基于基于MSE和对数的度量。作为一个质量指标，值越高质量越高。
结构相似性指数(SSIM)
结构相似性指数(SSIM)是一种感性的度量指标。SSIM基于图像中的可见结构。使用SSIM进行图像增强评估是因为一些研究人员不再将PSNR视为图像质量下降的可靠指标。它是一种感知指标，用于量化由处理引起的图像质量下降。作为质量度量，较高的值表示较高的质量。
均方误差（MSE）
均方误差（MSE）用于比较真值/原始图像像素与预测/生成的图像像素之间的距离。取每个像素差异的平均值，然后平方。作为损耗或错误度量标准，较低的值表示较高的质量。
平均绝对误差（MAE）
平均绝对误差（MAE）是真值/原始影像与预测/生成的影像之间的绝对差之和。作为损耗或错误度量标准，较低的值表示较高的质量。
使用Unsplash图片进行测试
这些是在受欢迎的Unsplash免版权摄影网站上对高质量和高分辨率图像执行的Super Resolution的各种示例集。
在每个示例中，左图是三次三次插值放大，中间图是Adobe的Super Resolution，右图是IDN深度神经网络的Super Resolution。
如上所述，这些指标正在将每种放大/超分辨率方法的输出与原始真实图像进行比较。
有了这些高分辨率图像，双三次插值的指标通常会很高，因为通过有效地单独使用模糊滤镜进行升频可以产生高质量的指标，尤其是对于MSE。
从Adobe的“超分辨率”中可以明显看出大多数图像在分辨率和质量上的视觉改善，尽管在IDN深度神经网络超分辨率中没有引入或夸大的伪影。
左:双三次插值
- PSNR:38.3776
- SSIM:0.9331
- MSE:9.4475
- MAE :0.0122
中: Adobe’s Super Resolution
- PSNR: 31.8368
- SSIM: 0.8905
- MSE: 42.5988
- MAE: 0.0358
右: IDN Super Resolution
- PSNR: 38.9078
- SSIM: 0.9400
- MSE: 8.3619
- MAE: 0.0122
尽管指标并没有表明这一点，但从人类的视觉角度来看，Adobe的超级分辨率的改进优于双三次插值。与IDN模型的超分辨率相比，改进幅度更大。
左
- PSNR:28.0634
- SSIM: 0.8128
- MSE: 101.5632
- MAE:0.0278
中
- PSNR值:26.6016
- SSIM: 0.7796
- MSE: 142.2055
- MAE:0.0384
右
- PSNR:29.0446
- SSIM: 0.8541
- MSE: 81.0245
- MAE:0.0254
这张图片的改进非常类似于Adobe的超级分辨率和IDN模型。IDN模型处理后毛皮和猫的胡须看起来稍微更明确和尖锐
左
- PSNR:31.5566
- SSIM: 0.9564
- MSE: 45.4386
- MAE:0.0091
中
- PSNR:31.1871
- SSIM: 0.9319
- MSE: 49.4732
- MAE:0.0147
右
- PSNR:34.1575
- SSIM: 0.9712
- MSE: 24.9650
- MAE:0.0077
Adobe的超级分辨率提高了分辨率，恢复了图像中的一些细节和特征，尽管夸大了图像中的许多工件，IDN模型再次得到了一个分辨率大大提高的图像。
左
- PSNR:28.5939
- SSIM: 0.7417
- MSE: 89.8862
- MAE:0.0559
中
- PSNR:26.5685
- SSIM: 0.6350
- MSE: 143.2957
- MAE:0.0747
右
- PSNR:29.4697
- SSIM: 0.8064
- MSE: 73.4695
- MAE:0.0513
作者拍摄照片测试
这是厨房里的一张非典型照片，用来测试超分辨率的能力。
从度量的角度来看，Adobe的超级分辨率比双三次插值要差得多，在视觉上它确实比双三次插值好，尽管只是稍微好一点。
左
- PSNR: 37.2630
- SSIM: 0.9419
- MSE: 12.2117
- MAE: 0.0101
中
- PSNR: 34.1691
- SSIM: 0.8990
- MSE: 24.8983
- MAE: 0.0167
右
- PSNR: 39.3837
- SSIM: 0.9528
- MSE: 7.4939
- MAE: 0.0089
作为额外的比较，这张位于英国伯明翰Oozells square的樱花树的超分辨率照片是对源图像进行超分辨率处理的一个例子，而不是源图像的低分辨率缩小版。这种比较是为了避免任何考虑而使用用于创建较低分辨率输入的双三次缩减。
在这里，原始输入图像的分辨率比原始图像高，因此没有真值来比较指标。从人类视觉的角度来看，与Adobe的超级分辨率相比，IDN模型在分辨率上的增强显得更大。例如，砖墙、树枝和窗户覆层都明显地更尖锐了。
注意Adobe的超分辨率是在原始相机图像上执行的，这给了Adobe的算法一个潜在的优势。
这个例子之所以被包括进来，是因为有研究人员认为将图像降尺度作为比较使用并不是一个真实世界的测试，双三次降尺度并不等同于最初以较低分辨率捕获的图像。例如，来自微软研究中心的ImagePairs:通过分束器相机平台纸获得的真实超分辨率数据集，其中一个数据集使用一个相机平台，同时使用一个低分辨率和更高分辨率的相机传感器，从而得到一个真正的低分辨率和高分辨率的图像对。
总结
Adobe在增强图像分辨率方面的超高分辨率性能是一个内置在图像处理和编辑软件套件中的功能。
虽然与IDN模型有显著的差异，但随着分辨率的提高，一些图像的分辨率提高接近于最先进的深度神经网络。改进过程中的变化表明，该算法的泛化性可能不太好。
从度量的角度来看，在本文的许多测试中，Adobe的超级分辨率是超分辨率中最低的。然而，从人类的视觉角度来看，它的改进远远优于双三次插值。很有可能它的算法是用一个更感性的度量来训练的。正如我经常提到的，什么更重要:参数还是人们对质量的感知?
Adobe的超级分辨率对图像中的噪音和伪影的容忍度要低得多，通常在低质量的图像上表现得更差。
Adobe的超级分辨率只能实现图像分辨率的2倍增强，而许多深度神经网络模型已经被训练可以实现图像分辨率的4倍增强。
对DIV2K验证数据集也进行了评估，该数据集为超分辨率竞赛和研究进行了整理。由于DIV2K数据集只允许学术使用，所以不能在这里使用。Adobe的超级分辨率在DIV2K验证数据集上表现得非常好。与这里的结果相比，原因可能是Adobe的超级分辨率训练过程包含了这些图像，这就是我们经常所说的数据泄露了。
高分辨率
Adobe的超级分辨率突出的特征是惊人的图像大小，它可以执行超级分辨率增强，一个令人难以置信的11,205×8,404像素图像升级到22,409×16,807像素。大多数深度学习模型在较小的分辨率下都会导致内存不足的问题。
如何使用Adobe的超级分辨率
使用Adobe的超级分辨率从Adobe Bridge中选择一张图像，并在Camera Raw中打开它，然后在上下文菜单中选择“增强”，最后选择你的图像。
译者注：本文含有大量图片，所以只选择了部份图片进行说明，其余图片请查看原文：
本文作者：Christopher Thomas