0


raw数据噪声标定(AISP_NR: 2D AI-Noise Reduction for RAW Images)

刚开始接触RAW数据去噪方向,有任何错误欢迎指正。

过程参考GitHub文章AISP_NR: 2D AI-Noise Reduction for RAW Images:GitHub - HuiiJi/AISP: 2D AI-NR model for raw images, including dataset、training、infer.

除此外,对比整理了讨论度很高的ELD方法:A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

GitHub - Vandermode/ELD: Physics-based Noise Modeling for Extreme Low-light Photography (CVPR 2020 Oral & TPAMI 2021)

噪声参数标定的意义:根据噪声模型合成数据,不需要大量真实配对模型。(如用ELD训练的模型结果和配对真实数据训练结果相当)

大体过程总结为:提出噪声模型 --> 对噪声参数进行标定


AISP_NR噪声标定过程:
  • 准备目标相机采集数据。AISP_NR需要采集黑帧和灰度帧。一般标定需要黑帧、平场帧(即灰度帧)、偏置帧和多次重复拍摄的科学帧 1. 黑帧:是在相机传感器完全没有光照的情况下拍摄的图像,用于测量和校正相机传感器的暗电流噪声(thermal noise)。

              获取方法:
    
                      在与科学图像相同的曝光时间和温度条件下拍摄。
    
                      盖上镜头盖或遮光罩,确保没有光进入传感器。
    
                      拍摄多张这样的图像,以便后续进行平均处理。
    
              2.平场帧:是在均匀光照条件下拍摄的图像,主要用于校正由于光学系统和传感器不均匀性引起的亮度差异。
    
               获取方法:
    
                      将相机或望远镜对准均匀光源,如均匀发光的屏幕、白色的日光或天空。
    
                      拍摄一系列曝光,使图像中每个像素都接收到大致相同的光量。
    
              3.偏置帧:是在曝光时间为零的情况下拍摄的图像,目的是测量和校正相机传感器的读出噪声。
    
              获取方法:
    
                      设置相机的曝光时间为零(或最短曝光时间)。
    
                      盖上镜头盖或遮光罩,确保没有光进入传感器。
    
                      拍摄多张这样的图像,以便后续进行平均处理。
    
              4.多次重复拍摄的科学帧:为了更好地理解和标定噪声特性,通常需要在相同条件下拍摄多张科学图像。这些图像用于分析不同曝光时间、不同光照条件下的噪声特性。
    
              获取方法:在相同的拍摄条件下(例如相同的曝光时间、光源、环境温度等)拍摄多张科学图像。
    
  • 通过黑帧计算黑电平,灰度帧减去黑电平得到归一化的RAW。

  • 选定噪声区域。标定灰度帧的ROI区域,并且记录该区域的详细坐标,作为噪声分布的采样区域。

  • 不同ISO下的ROI均值作横轴,方差作纵轴,拟合一次函数得到斜率和截距,得到Poisson-Gaussian噪声模型中参数K(系统增益)和sigma。(本文采用泊松-高斯噪声模型)

  • 拟合ISO和k及ISO和sigma的关系,得到噪声模型的参数配置文件。
  • 通过噪声模型参数配置文件,可以得到任意ISO下的噪声模型参数,从而合成匹配数据。

ELD噪声标定过程:
  • 准备目标相机采集数据。ELD需要采集平场帧和偏置帧。(ELD采用泊松-TL模型,TL可以看作更为general的高斯)

  • 拟合参数K。ELD中同样认为方差和真实信号值满足线性函数,其斜率就是在对应ISO值下的K。其中 KI 由平场帧计算得到。

  • 使用偏置帧计算μc
  • 计算σr,从偏置帧中去除估计的行噪声
  • 计算λ和σTL
  • 联合参数分布建模。

这一步是为了在不同ISO设置下为噪声形成模型选择噪声参数,以便以耦合的方式对噪声参数进行采样。而其中K和ISO有密切的关系,因此选择K和其他参数进行联合建模。


本文转载自: https://blog.csdn.net/gfhgjbh/article/details/139347633
版权归原作者 无名好人嘻嘻 所有, 如有侵权,请联系我们删除。

“raw数据噪声标定(AISP_NR: 2D AI-Noise Reduction for RAW Images)”的评论:

还没有评论