0


NAFNet(ECCV 2022)-图像修复论文解读

文章目录

论文:
《Simple Baselines for Image Restoration》

github:
https://github.com/megvii-research/NAFNet

解决问题

目前图像复原领域SOTA方法复杂度比较高,这不利于分析和方法比较;作者提出简单网络NAFNet,发现激活函数非必须,在GoPro、SIDD取得SOTA。

算法

背景

block间通常通过有两种方式,如图2所示:
1、不同feature map之间进行联系;
2、多阶段网络,后一个阶段精细化前一个阶段结果;
在这里插入图片描述
block内设计如图3a所示,多个反卷积attention机制,门控反卷积,swin transformer block、HINBlock
在这里插入图片描述
为了简化网络,作者使用常规图2c中U-Net结构

Simple Baseline

Plain Block

为了简化神经网络,作者提出PlainNet,使用最常见的模块,如图3b,之所以没有使用Transformer,是因为:
1、一些工作声称达到SOTA效果,Transformer不是必须的;
2、depthwise conv比self-attention机制更加简单;

归一化

BN(N/H/W通道计算均值方差)对于小batch统计量不稳定,IN可以避免此问题,但是一些工作展示IN(H/W通道计算均值方差)并不总是带来正向收益,需要finetune。随着Transformer的成功,LN(C/H/W通道计算均值方差)用于越来越多方法,因此作者使用LN至Plain Block,可以稳定训练过程。

激活函数

目前SOTA方法中存在趋势:使用GELU替换ReLU,在保持图像去噪性能的同时,也为图像去模糊带来了增益。

Attention机制

原生self-attention机制计算量随着特征图大小二次增长,swin transformer在固定大小局部window进行,可缓解计算量增加问题,然而缺少全局信息,原生channel attention(SE Network)满足要求:计算高效,同时具备全局信息;

总结

Simple Baseline结构如图2c,3c,每个组成部分很普通,比如:LN、GELU、CA,但它们组成的Baseliine超越之前SOTA。

NAFNet

作者想在保证性能前提下,进一步简化图3c中baseline,发现SOTA方法都使用GLU。

SimpleGate替换GELU

GLU如式1,GELU如式2,通过比较发现,GELU是GLU的特殊情况,同时 GLU本身包含非线性,基于此,作者提出SimpleGate,如式4,图4c,将feature map在channel维分为两部分,而后逐像素相乘。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

SCA替换CA

CA过程如图4a、式5,可重写为式6,简化为GLU类似形式,作者仅保留CA两个重要部分:聚合全局信息,channel维信息交互,提出SCA,如式7
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

Simple Baseline中,
1、SimpleGate替换GELU;
2、SCA替换CA;
得到简化后的NAFNe,其不包含任何激活函数(ReLU,GELU,Sigmoid)

实验

从PlainNet到simple baseline消融实验如表1;
在这里插入图片描述
从simple baseline到NAFNet的消融实验如表2,性能提升同时,速度加快;
在这里插入图片描述
表4验证不同block数量影响,当增大到72时,性能改进不明显;
在这里插入图片描述
表5验证SimpleGate中不同激活函数影响,发现激活函数非必要;
在这里插入图片描述

应用

RGB图像去噪

表6展示在图像去噪方向与SOTA方法比较,超越最佳结果Restormer0.28dB,同时计算量大幅降低。如图5,作者提出的方法可修复更多细节;
在这里插入图片描述
在这里插入图片描述

图像去模糊

在GoPro数据集图与SOTA方法比较如表7,可视化结果如图6
在这里插入图片描述
在这里插入图片描述

RAW图像去噪

实验结果如表8,可视化结果如图7。
在这里插入图片描述
在这里插入图片描述

结论

作者对基线进行分析发现非线性激活函数非必须,提出的NAFNet没有线性激活,虽然结构简单但是性能未下降。


本文转载自: https://blog.csdn.net/qq_41994006/article/details/127859059
版权归原作者 ‘Atlas’ 所有, 如有侵权,请联系我们删除。

“NAFNet(ECCV 2022)-图像修复论文解读”的评论:

还没有评论