0


ISP-长短曝光融合生成HDR图像

1、高动态范围图像相关

图像的动态范围是指一幅图像中量化的最大亮度与最小噪声的比值。高动态范围HDR(high dynamic range)图像,能够完整表示真实场景中跨度很大的动态范围。采用普通CMOS/CCD图像传感器不能完整呈现亮度层次差异较大的真实场景。场景中较亮的区域,由于过曝光会出现一片白亮,而场景中较暗的区域,由于欠曝光会出现一片黑暗。

另外,由于成本等原因,显示设备的动态范围也较小,如一般的阴极射线管(Cathode RayTube,CRT)、液晶显示器(Liquid Crystal Display,LCD)、LED、等离子显示器等,显示动态范围最大为28(O到255),大多在102个数量级,远远低于现实场景的动态范围,无法做到完全映射。这意味着,即使捕获了亮度差异较大的高动态范围图像,也很难在普通显示设备上完整显示出来。

多帧图像融合

较为经济的解决思路是采用多帧图像融合,图像可以是固定增益采用不同曝光下采集,也可以是同等曝光不同增益下采集。一般情况多采用两帧图像合成,长曝光-短曝光合成或者高增益-低增益合成。

1、高低增益融合:指在同样曝光时间条件下,同时输出一路高增益数据和一路低增益数据,根据某种关系将两路数据进行融合。

2、长短曝光融合:指在同等增益的条件下,同时输出一路长曝光数据和一路短曝光数据,根据某种关系将两路数据进行融合。

长曝光与高增益数据,保证场景中较暗处细节信息能够完整捕获(高增益类似)。短曝光与低增益数据保证场景中较亮处不至于过曝(低增益类似)。

通过高低增益融合或者长短曝光融合方式融合,这种HDR图像既能够有好的暗部信息,又保证了亮部不过曝,保留了亮度信息。

相比之下笔者觉得长短曝光融合方式效果更佳,因为在光照不足的环境下,高增益数据噪声会较大,合成的图像噪点多。

2、图像融合形成HDR图像

根据Debevec等人提出的相机响应曲线(Camera Response Curve,CRV),采集图像数据计算长曝光与像素值的关系,短曝光与像素值的关系,再利用权重函数,将长曝光、短曝光对应的低动态范围图像数据合成,得到高动态范围图像。

需要sensor支持同时输出长曝光、短曝光图像,通过长短曝光融合方式来形成高动态图像。长短曝光比率是可以配置的(如果sensor支持的话),不同的配比带来不同的效果。

注意事项:

第一,利用sensor输出的图像进行合成,长短曝光比率需要摸索,不是越大越好,合适的比率融合效果更自然。

第二,像素点亮度值与曝光时间成线性关系。对于同一像素点,长曝光相比于短曝光像素响应值更高,信噪比更高。可见光sensor线性度一般都很好,而红外探测器线性度很差,一般需要做均匀性校正之后再进行融合。

第三,一般的合成算法较为复杂,有的利用最小二乘法求解多个方程,有的进行分块融合,有的需要多次迭代处理。

像素过曝光和正常曝光的概念:

(1)过曝光:亮度值>90%最大满阱值

(2)正常曝光:亮度值<=90%最大满阱值

(3)亮度阈值:90%最大满阱值

参考文献:《Recovering high dynamic range radiance maps from photographs》

参考文献:<多曝光融合算法研究及HDR图像合成与色调映射算法设计实现>

参考文献:专利201810097959 .X

参考文献:《基于相机响应曲线的高动态范围图像融合》

3.图像融合方法

可见光sensor的像素线性响应度是很好的,线性区间几乎可以从暗场到满阱值,这为融合参数计算带来便利。

1)采集长短曝光下的数据

固定增益,短曝光间隔相同曝光值采集N组数据,长曝光数据与短曝光保持相同的比率

2)分析长短曝光下响应的曲线参数

3)计算长短曝光数据之间的响应关系

       L 
      
      
      
        e 
       
      
        x 
       
      
        p 
       
      
     
    
      = 
     
    
      k 
     
    
      ∗ 
     
     
     
       S 
      
      
      
        e 
       
      
        x 
       
      
        p 
       
      
     
    
      + 
     
    
      b 
     
    
   
     L_{exp} = k*S_{exp}+b 
    
   
 Lexp​=k∗Sexp​+b

4)按照融合的算法,进行图像融合。

亮度阈值90%最大满阱值,阈值之下用长曝光数据,阈值之上用短曝光拟合的数据

      i 
     
    
      f 
     
    
      Y 
     
    
      > 
     
    
      t 
     
    
      h 
     
    
      r 
     
    
      , 
     
    
      H 
     
    
      D 
     
    
      R 
     
    
      = 
     
     
     
       L 
      
      
      
        e 
       
      
        x 
       
      
        p 
       
      
     
     
    
      e 
     
    
      l 
     
    
      s 
     
    
      e 
     
    
      Y 
     
    
      < 
     
    
      = 
     
    
      t 
     
    
      h 
     
    
      r 
     
    
      , 
     
    
      H 
     
    
      D 
     
    
      R 
     
    
      = 
     
     
     
       S 
      
      
      
        e 
       
      
        x 
       
      
        p 
       
      
     
    
      ∗ 
     
    
      k 
     
    
      + 
     
    
      b 
     
    
   
     if Y>thr, HDR=L_{exp}\\ else Y<=thr, HDR=S_{exp}*k+b 
    
   
 ifY>thr,HDR=Lexp​elseY<=thr,HDR=Sexp​∗k+b

得到的HDR数据需要移位来压缩动态范围,得到动态范围较好的图像

短曝光图像:

长曝光图像:

融合的HDR图像:

4、测试程序路径

测试程序供参考: https://github.com/AomanHao/AomanHao_example_of_algorithms/tree/main/2-HDR


觉得本文对您有一点帮助,欢迎讨论、点赞、收藏,您的支持激励我多多创作。

我的个人博客主页,欢迎访问

我的CSDN主页,欢迎访问

我的GitHub主页,欢迎访问

我的知乎主页,欢迎访问


本文转载自: https://blog.csdn.net/Aoman_Hao/article/details/130001616
版权归原作者 AomanHao 所有, 如有侵权,请联系我们删除。

“ISP-长短曝光融合生成HDR图像”的评论:

还没有评论