文章目录
论文:
《Simple Baselines for Image Restoration》
github:
https://github.com/megvii-research/NAFNet
解决问题
目前图像复原领域SOTA方法复杂度比较高，这不利于分析和方法比较；作者提出简单网络NAFNet，发现激活函数非必须，在GoPro、SIDD取得SOTA。
算法
背景
block间通常通过有两种方式，如图2所示：
1、不同feature map之间进行联系；
2、多阶段网络，后一个阶段精细化前一个阶段结果；
block内设计如图3a所示，多个反卷积attention机制，门控反卷积，swin transformer block、HINBlock
为了简化网络，作者使用常规图2c中U-Net结构
Simple Baseline
Plain Block
为了简化神经网络，作者提出PlainNet，使用最常见的模块，如图3b，之所以没有使用Transformer，是因为：
1、一些工作声称达到SOTA效果，Transformer不是必须的；
2、depthwise conv比self-attention机制更加简单；
归一化
BN（N/H/W通道计算均值方差）对于小batch统计量不稳定，IN可以避免此问题，但是一些工作展示IN（H/W通道计算均值方差）并不总是带来正向收益，需要finetune。随着Transformer的成功，LN（C/H/W通道计算均值方差）用于越来越多方法，因此作者使用LN至Plain Block，可以稳定训练过程。
激活函数
目前SOTA方法中存在趋势：使用GELU替换ReLU，在保持图像去噪性能的同时，也为图像去模糊带来了增益。
Attention机制
原生self-attention机制计算量随着特征图大小二次增长，swin transformer在固定大小局部window进行，可缓解计算量增加问题，然而缺少全局信息，原生channel attention（SE Network）满足要求：计算高效，同时具备全局信息；
总结
Simple Baseline结构如图2c，3c，每个组成部分很普通，比如：LN、GELU、CA，但它们组成的Baseliine超越之前SOTA。
NAFNet
作者想在保证性能前提下，进一步简化图3c中baseline，发现SOTA方法都使用GLU。
SimpleGate替换GELU
GLU如式1，GELU如式2，通过比较发现，GELU是GLU的特殊情况，同时 GLU本身包含非线性，基于此，作者提出SimpleGate，如式4，图4c，将feature map在channel维分为两部分，而后逐像素相乘。
SCA替换CA
CA过程如图4a、式5，可重写为式6，简化为GLU类似形式，作者仅保留CA两个重要部分：聚合全局信息，channel维信息交互，提出SCA，如式7
总结
Simple Baseline中，
1、SimpleGate替换GELU；
2、SCA替换CA；
得到简化后的NAFNe，其不包含任何激活函数（ReLU，GELU，Sigmoid）
实验
从PlainNet到simple baseline消融实验如表1；
从simple baseline到NAFNet的消融实验如表2，性能提升同时，速度加快；
表4验证不同block数量影响，当增大到72时，性能改进不明显；
表5验证SimpleGate中不同激活函数影响，发现激活函数非必要；
应用
RGB图像去噪
表6展示在图像去噪方向与SOTA方法比较，超越最佳结果Restormer0.28dB，同时计算量大幅降低。如图5，作者提出的方法可修复更多细节；
图像去模糊
在GoPro数据集图与SOTA方法比较如表7，可视化结果如图6
RAW图像去噪
实验结果如表8，可视化结果如图7。
结论
作者对基线进行分析发现非线性激活函数非必须，提出的NAFNet没有线性激活，虽然结构简单但是性能未下降。
版权归原作者 ‘Atlas’ 所有， 如有侵权，请联系我们删除。