【论文笔记】—低光图像增强—Supervised—URetinex-Net—2022-CVPR

【论文介绍】

【题目】：URetinex-Net: Retinex-based Deep Unfolding Network for Low-light Image Enhancement 
【会议】：2022-CVPR
【机构】：深圳大学
【作者】：Wenhui Wu, Jian Weng, Pingping Zhang, Xu Wang, Wenhan Yang, Jianmin Jiang
【paper】：https://openaccess.thecvf.com/CVPR2022
【video】：https://www.youtube.com/watch?v=MJZ5HT1jGrA
【code_Pytorch】：https://github.com/AndersonYong/URetinex-Net

【提出问题】

基于Retinex模型的方法在处理低光图像时，通常使用的手工制作的先验和优化驱动的解决方案导致缺乏适应性和效率。

Model-based Methods：依赖于手工制作的先验，优化过程很费时。
Learning-based Methods：引导推理速度快，但缺乏可解释性。

【解决方案】

提出了一种基于Retinex的 deep unfolding network （URetinex-Net），它将一个优化问题展开为一个可学习的网络，以将低光图像分解为反射层和光照层。通过将分解问题公式化为隐式先验正则化模型，精心设计了三个基于学习的模块，分别负责数据相关的初始化、高效的展开优化和用户指定的光照增强。特别地，所提出的展开优化模块通过引入两个网络，以数据驱动的方式自适应拟合隐式先验，实现了最终分解结果的噪声抑制和细节保留。

【创新点】

针对 LLIE 问题提出的的 URetinex-Net 包括三个可学习的模块：初始化模块、展开优化模块、光照调整模块。
初始化模块：在统一的框架中通过学习的方法同时估计输入的反射率和照度。
展开优化模块：将一个优化问题展开为一个可学习的网络，以数据驱动的方式自适应拟合隐式先验，实现了最终分解结果的噪声抑制和细节保留。
光照调整模块：通过用户自定义的比率灵活地增强照度。

【公式模型】

【URetinex-Net 网络结构】

针对 LLIE 问题的 URetinex-Net 包括三个可学习的模块：

首先，通过将目标低光图像传递给初始化模块，生成初始反射率和光照。
之后，展开优化模块迭代地细化反射层和光照层（ß 和 ɻ 是 penalty 参数）
最后，光照调整模块根据用户定义的比例 w 输出增强的图像。

图2 (a) URetinex-Net 的总体框架，(b) URetinex-Net 中每个阶段的详细信息，(c) 每个阶段应用的去噪网络 GR 的具体网络结构。

初始化模块

损失函数：第一项是重建损失，第二项为了保持 I 的整体结构。
结构：初始化模块由三个 Conv+LeakyReLU 层组成，后面是卷积层和 ReLU 层。整个卷积层的内核大小设置为3*3.
效果：图3：低光图像中一个 patch 的统计特征，显然，刚性初始化（b）改变了原始弱光图像三个通道 {R，G，B} 的强度统计特性，而在本文的初始化模块（c）中得到很好的保留。

刚性初始化：通过寻找三个颜色通道的最大值来初始化初始照明L0，并且可以相应地通过R0=I/L0来导出初始反射率R0。

展开优化模块

目的：避免了显式的正则化设计，并以深度学习的方式自适应地恢复光照和反射率。

有监督：以正常光图像的反射率作为参考。对正常光图像的光照施加结构感知平滑约束[34]，然后分解正常光图像的损失函数如下：

损失函数：展开优化模块以端到端的方式训练，其中GR和GL的参数和网络体系结构在不同阶段共享。在解折叠网络的优化过程中，以我们的初始化模块生成的正态光反射率Rα作为参考。在损耗函数方面，我们采用反射率和照度的损耗函数求和，包括各阶段Pk和Rk之间的均方误差 (MSE) 损耗、MSE损耗、结构相似损耗、和最终恢复反射率RT之间的感知损耗、各阶段Qk和Lk之间的MSE损耗，以及各阶段Lk的总变化损失。展开优化模块的损耗函数如下：