ECCV 2024前沿科技速递：GLARE-基于生成潜在特征的码本检索点亮低光世界，低光环境也能拍出明亮大片！

在计算机视觉与图像处理领域，低光照条件下的图像增强一直是一个极具挑战性的难题。暗淡的光线不仅限制了图像的细节表现，还常常引入噪声和失真，极大地影响了图像的质量和可用性。然而，随着ECCV 2024（欧洲计算机视觉会议）的盛大召开，一项名为GLARE的创新技术横空出世，为低光图像增强带来了前所未有的突破。

GLARE是一种新型的基于生成式隐层特征的码本检索的低光照增强网络，大量实验证明GLARE在多个基准数据集和真实数据上的卓越性能，以及GLARE在低光照目标检测任务中的有效性进一步验证了其在高层次视觉应用中的适用性。

(a)在LOL数据集上眩光显著优于SOTA方法。

(b)GLARE可以在LOL(上)和真实世界(下)图像上生成吸引人的结果。

相关链接

论文地址：https://arxiv.org/pdf/2407.12431

代码地址：https://github.com/LowLevelAI/GLARE

论文阅读

GLARE：通过基于生成潜在特征的码本检索进行低光图像增强

摘要

大多数现有的低光图像增强 (LLIE) 方法要么直接将低光 (LL) 映射到正常光 (NL) 图像，要么使用语义或照明图作为指导。然而，LLIE 的病态性质和从受损输入中进行语义检索的难度限制了这些方法，尤其是在极低光照条件下。

为了解决这个问题，我们通过基于生成性潜在特征的码本检索 (GLARE) 提出了一种新的 LLIE 网络，其中使用矢量量化 (VQ) 策略从未退化的 NL 图像中得出码本先验。更重要的是，我们开发了一个生成性可逆潜在正则化流 (I-LNF) 模块来将 LL 特征分布与 NL 潜在表示对齐，从而保证码本中的正确代码检索。此外，我们还设计了一种新颖的自适应特征转换 (AFT) 模块，该模块具有可供用户调整的功能，包括自适应混合块 (AMB) 和双解码器架构，可进一步提高保真度，同时保留码本先验提供的真实细节。

大量实验证实了 GLARE 在各种基准数据集和真实数据上的卓越性能。它作为低光物体检测任务中的预处理工具的有效性进一步验证了 GLARE 适用于高级视觉应用。

方法

除了引入外部 NL 码本来指导低光到正常光 (LL-NL) 映射之外，我们工作的创新之处还在于独特的可逆潜在归一化流 (I-LNF) 和自适应特征变换 (AFT) 模块，它们旨在最大限度地发挥 NL 码本先验的潜力并生成高保真度的真实结果。方法概览上图所示，训练可分为三个阶段。

• 在第一阶段，我们在数千张清晰的 NL 图像上对 VQGAN 进行预训练，以构建全面的 VQ 码本。
• 在第二阶段，利用 LL-NL 对训练 I-LNF 模块，实现 LL 和 NL 特征之间的分布变换。
• 在第三阶段，使用包含固定 NL 解码器 (NLD)、自适应混合块 (AMB) 和多尺度融合解码器 (MFD) 的 AFT 模块来增强细粒度细节，同时保持码本带来的自然度。

效果

LOL、LOL-v2-real、LOL-v2-synthetic、SDSD-indoor和SDSD-outdoor数据集的定量比较。与目前的SOTA方法相比，我们的GLARE实现了卓越的性能。

基于LOL数据集的视觉比较。我们的方法可以有效地增强可见性，并产生具有视觉吸引力的结果。

llo-v2-real(上)和llo-v2-synthetic(下)数据集的视觉比较。以前的方法遭受严重的色彩失真或细节不足，而我们的眩光表现良好，没有这些问题。

对真实世界数据集的定量比较。这些结果可以从原始论文中获得，也可以使用其最佳LOL权重进行测试。↓:值越小表示质量越好。

对未配对的真实数据集进行跨数据集评估的可视化结果。这四幅图像分别来自DICM、LIME、MEF和NPE。我们的眩光产生更令人愉快的结果，没有噪音或伪影。

AFT对lol的目视消融结果。我们的带有AFT模块的眩光能够生成具有改进的边缘敏锐度和轮廓清晰度的结果，以及更丰富的细节纹理。

消融实验

ExDark数据集上基于增强的低光目标检测视觉对比与检测结果以往的增强方法在使用预处理模块进行对象检测时，都会遇到对象丢失的问题。相比之下，利用我们的眩光增强的图像使YOLO-v3能够以高置信度健壮地检测目标，并且我们增强的图像具有更好的视觉质量。

结论

针对低光照增强-LLIE，提出了一种名为 GLARE 的新方法。鉴于 LLIE 的不适定性所导致的不确定性和模糊性，我们利用使用 VQGAN 从清晰且曝光良好的图像中获得的正常光照码本来指导 LL-NL 映射。为了更好地挖掘码本先验的潜力，采用可逆潜在归一化流来生成与 NL 潜在表示对齐的 LL 特征，以最大化码向量在码本中正确匹配的概率。最后，引入具有双解码器架构的 AFT 模块，灵活地将信息提供给解码过程，从而进一步提高增强结果的保真度，同时保持感知质量。大量实验表明，我们的 GLARE 在 5 个配对数据集和 4 个真实世界数据集上的表现明显优于当前的 SOTA 方法。在低光物体检测方面的卓越性能使我们的 GLARE 成为高级视觉任务中的有效预处理工具。