0


经典图像去噪算法概述

一、图像去噪基础知识

1. 图像去噪模型

    图像在传输、存储和拍摄等过程中,由于电磁波、传输设备存在杂质信号、镜头污渍等外部条件的干扰会产生噪声。从而导致图像不能清晰、真实地反映事物。

    图像去噪算法地目的是将图像中的噪声去除,还原出无噪声的图像,并且最大限度地保存图像中原有的细节信息。通常图像去噪问题被当成一个逆问题来处理,给定一张M*N的噪声图像y,通过去噪算法去除图像噪声,恢复未被噪声污染过的图像x。噪声图像可用表达式:![y=x+v](https://latex.codecogs.com/gif.latex?y%3Dx+v)来表示。其中![v](https://latex.codecogs.com/gif.latex?v)表示图像噪声,图像去噪的模型如下图所示[1-3]。

2. 图像去噪类型

2.1 噪声类型——融合方式

    噪声的分类方法多种多样,根据噪声与图像信息两者之间的融合方式,能够将噪声模型分成加性噪声和乘性噪声两类。假设给定观测到的噪声图像为![y(i, j)](https://latex.codecogs.com/gif.latex?y%28i%2C%20j%29), 原始图像为![x(i, j)](https://latex.codecogs.com/gif.latex?x%28i%2C%20j%29),噪声为![v(i, j)](https://latex.codecogs.com/gif.latex?v%28i%2C%20j%29),则加性噪声模型为:

                            ![y(i, j)=x(i, j)+v(i, j)](https://latex.codecogs.com/gif.latex?y%28i%2C%20j%29%3Dx%28i%2C%20j%29+v%28i%2C%20j%29)

乘性噪声模型为:

                            ![y(i, j)=x(i, j)\cdot v(i, j)+x(i, j)](https://latex.codecogs.com/gif.latex?y%28i%2C%20j%29%3Dx%28i%2C%20j%29%5Ccdot%20v%28i%2C%20j%29+x%28i%2C%20j%29)

    由噪声模型可以看出加性噪声和图像信号之间是相加的关系,不管有无图像信号的存在,噪声是客观存在的,因此可知图像信号和噪声信号之间是不相关的。而乘性噪声和图像信号之间是相乘的关系,图像信号存在,则噪声存在,图像信号不存在,噪声便不存在,故乘性噪声和图像信号之间是相关的。

2.2 噪声类型——概率分布

    根据噪声服从的概率密度分布,可以将其分为高斯噪声、脉冲噪声和泊松噪声等。

(1)高斯噪声

    高斯噪声是一类概率分布服从高斯分布的噪声,其概率密度为:

其中v为噪声,\mu为噪声均值,通常取为0,\sigma为噪声的标准差,由概率密度函数可以看出高斯噪声有很好的数学性质,该概率密度函数下函数的分布是对称的。现实生活中的噪声大多数能够近似表示为高斯噪声,因此通常研究者们在研究图像去噪算法时大多都使用均值为0,方差为\sigma的高斯噪声模拟真实噪声。

(2)脉冲噪声

    脉冲噪声的概率密度为:

脉冲噪声点的亮暗程度与a、b的取值有关,当b>a时,则值为a的点表现为暗点,值为b的点表现为亮点。反之则值为b的是暗点,值为a的点是亮点。

(3)泊松噪声

    泊松噪声的概率密度函数:

该概率密度下噪声的均值和方差都为\lambda,泊松噪声是因光量子测定时存在不确定性而导致的,因此泊松噪声一般在亮度很小或者高倍电子放大线路中会出现。

二、非局部均值图像去噪方法

    目前已有的许多图像去噪方法大多是基于“局部平滑”(例如,传统的均值滤波器和高斯滤波器)。 虽然这类方法是有效的,但由于缺乏自适应性会导致图像模糊。从下面四幅灰度图像可以看出,它们都含有很多相似重复的纹理信息,考虑在大多数图像中出现的冗余信息,研究人员发现图像的自相似性可以应用于图像去噪领域。2005年,Buades等人首次提出了一种非局部均值(NLM)去噪算法。该算法充分利用图像中的自相似性达到去噪的目的,首先通过计算邻域间的欧式距离得到相似性权值,然后使用相似像素的加权平均得到去噪图像。这种计算权值的方法仅与图像块的相似性有关,与位置无关因此很好的避免了虚假纹理的产生。与传统的去噪算法相比,NLM算法具有算法简单、去噪性能好、易于改进和扩展的特点。

  给定一个离散含噪图像![y=\left \{ y(i), i\in I \right \}](https://latex.codecogs.com/gif.latex?y%3D%5Cleft%20%5C%7B%20y%28i%29%2C%20i%5Cin%20I%20%5Cright%20%5C%7D),即:

                                           ![x^{hat}(i)=\sum_{j\in S_{i}}^{}w_{NL}(i, j)y(j)](https://latex.codecogs.com/gif.latex?x%5E%7Bhat%7D%28i%29%3D%5Csum_%7Bj%5Cin%20S_%7Bi%7D%7D%5E%7B%7Dw_%7BNL%7D%28i%2C%20j%29y%28j%29)

其中,x^{hat}(\cdot )为去噪后的图像,S{_{i}}是以像素i为中心的方形搜索窗口,w_{NL}(i, j)为相似性权重系数,由像素点i和j的邻域相似性决定,该相似性通常利用图像块间的欧氏距离计算得到。因此,图像块相似性的度量如下所示,同时权值需要满足条件:0\leq w_{NL}(i, j)\leq 1\sum_{j\in S_{i}}^{}w_{NL}(i, j)=1.

                                            ![w_{NL}(i, j)=\frac{1}{Z(i)}exp(-\frac{\left \| y(N_{i})-y(N_{j}) \right \|_{2}^{2}}{h})](https://latex.codecogs.com/gif.latex?w_%7BNL%7D%28i%2C%20j%29%3D%5Cfrac%7B1%7D%7BZ%28i%29%7Dexp%28-%5Cfrac%7B%5Cleft%20%5C%7C%20y%28N_%7Bi%7D%29-y%28N_%7Bj%7D%29%20%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D%7D%7Bh%7D%29)

其中,Z(i)=\sum_{j\in S_{i}}^{}exp(-\frac{\left \| y(N_{i})-y(N_{j}) \right \|_{2}^{2}}{h})y(N_{i})表示以像素i为中心的图像块的灰度值,h控制指数函数的衰减速度并影响滤波程度。由上述公式可知权值w_{NL}(i, j)依赖于邻域窗口y(N_{i})e和y(N_{j})的相似度,当权值越大,图像的邻域就越相似。

     非局部方法在去噪性能上优于局部方法,特别是对于高斯噪声。然而,NLM方法存在明显的不足,仍然有很大的改进空间,比如:较高的计算复杂度、相似性权重的计算公式受噪声影响较大和去噪参数确定不准等。

三、基于图像先验的正则化去噪模型

    对于正则化去噪方法,最重要的一步是找到一个合适的自然图像先验。由于应用的领域不同,人们所关注的图像特征也是不同的,因此需要根据需求来构造合理的正则化去噪模型。在研究过程中,来自不同国家的学者针对图像自身先验进行约束,提出了不同形式的正则化去噪模型。下面介绍一些最有影响力的图像先验知识,包括梯度先验、非局部自相似性先验、稀疏性先验和低秩性先验。

1. 图像的梯度先验

    最早将梯度先验引入图像去噪的是Tikhonov正则化方法,该方法根据原始图像是“平滑”这一假设进行去噪的。但是这种光滑约束是各向同性的,在去除噪声的过程中难免平滑掉大量边界以及细节结构。为了防止这种情况的发生。1992年,又有学者提出了基于TV的正则化方法来克服去噪图像的平滑性,这是该领域最有影响力的工作。TV正则项的本质是梯度的L1范数,定义为:

                                            ![R_{TV}=\left \| \bigtriangledown x \right \|_{1}](https://latex.codecogs.com/gif.latex?R_%7BTV%7D%3D%5Cleft%20%5C%7C%20%5Cbigtriangledown%20x%20%5Cright%20%5C%7C_%7B1%7D)

其中,\bigtriangledown xx的梯度。进而得到图像的去噪模型:

                                            ![arg min_{x}\frac{1}{2}\left \| y-x \right \|_{2}^{2}+\lambda \left \| \bigtriangledown x \right \|_{1}](https://latex.codecogs.com/gif.latex?arg%20min_%7Bx%7D%5Cfrac%7B1%7D%7B2%7D%5Cleft%20%5C%7C%20y-x%20%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20%5Cbigtriangledown%20x%20%5Cright%20%5C%7C_%7B1%7D)

    这种极小化问题也称为ROF模型,它具有以下几个优点:1)该模型存在唯一解;2)关于x的解空间函数是不连续函数,即允许存在边缘位置的特殊像素点,所以在去噪过程中能较好地保持边缘。由于以上优点,TV模型被广泛用于图像去噪。但是模型也存在着缺陷:1)由于TV模型沿像素梯度方向是平滑地,容易将噪声当作伪纹理而被保存下,因此在平坦区域易产生阶梯效应;2)由于TV模型逐个相邻像素点计算像素差,会导致图像纹理趋于过平滑;3)TV模型中正则化参数的选择是依赖于经验值的,因此选择合适的参数值存在一定的难度。下图是利用了TV正则化后的视频数据恢复算法(HSR-TT)的对比图,选择视频的大小为256*256*30,我们选择第10帧作为对比[5]。

2. 图像的非局部自相似先验

    基于自然图像在不同位置包含大量相似图像这一事实,一系列方法利用了图像的非局部自相似(NSS)先验进行去噪。这类正则化去噪模型的开创性工作就是上面所讲的NLM去噪。通过将NLM中的第一步,即像素相关性的估计,视为图像相关图的构成方法,开发了各种形式的基于图拉普拉斯的正则化方法。根据前面介绍的相似性度量公式,NSS先验定义为:

                                    ![R_{NSS}(x)=\sum_{x_{i}\in x}^{}\left \| x_{i} -NLM(x_{i})\right \|_{2}^{2}=\sum_{x_{i}\in x}^{}\left \| x_{i}- w_{i}^{T}\kappa _{i}\right \|_{2}^{2}](https://latex.codecogs.com/gif.latex?R_%7BNSS%7D%28x%29%3D%5Csum_%7Bx_%7Bi%7D%5Cin%20x%7D%5E%7B%7D%5Cleft%20%5C%7C%20x_%7Bi%7D%20-NLM%28x_%7Bi%7D%29%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D%3D%5Csum_%7Bx_%7Bi%7D%5Cin%20x%7D%5E%7B%7D%5Cleft%20%5C%7C%20x_%7Bi%7D-%20w_%7Bi%7D%5E%7BT%7D%5Ckappa%20_%7Bi%7D%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D)

其中,\kappa _{i}是由在一个搜索窗口内所有围绕像素x_{i}的中心像素形成的列向量,w_{i}是一个包含所有相应权重w_{ij}的列向量。 尽管这类去噪算法取得了巨大的成功,但它们往往无法保持细致的纹理,着极大地降低了图像地视觉质量。

3. 图像的稀疏性先验

    由于自然图像具有冗余性,因此可以用字典进行稀疏表示。根据此先验知识,基于冗余字典的稀疏表示的去噪算法已成为近年来研究的热点问题。无噪声图像在字典下表示是稀疏的,而噪声随机的是不可稀疏的,因此图像信息蕴含在少量的系数中。

    图像稀疏表示的数学模型是![x=D\alpha](https://latex.codecogs.com/gif.latex?x%3DD%5Calpha),将输入图像块分解为矩阵D与向量![\alpha](https://latex.codecogs.com/gif.latex?%5Calpha)的乘积形式,其中矩阵D由一组基向量组成,向量α中大部分元素为零。由于传统的正交基对图像稀疏表示能力有限,有学者提出了字典的概念,用过完备字典代替正交小波基。这使得图像在冗余基库中可以方便地选择基向量,以更好地实现对复杂图像的稀疏表示。

     稀疏表示模型的求解可以转化为优化问题,用L1范数约束,即![min_{\alpha }\left \| \alpha \right \|_{1}](https://latex.codecogs.com/gif.latex?min_%7B%5Calpha%20%7D%5Cleft%20%5C%7C%20%5Calpha%20%5Cright%20%5C%7C_%7B1%7D)     ![s.t.\, \, \, x=D\alpha](https://latex.codecogs.com/gif.latex?s.t.%5C%2C%20%5C%2C%20%5C%2C%20x%3DD%5Calpha)。通用的稀疏表示模型为

                            ![\hat{\alpha }=arg\, m\underset{\alpha }{in}\left \| y-D\alpha \right \|_{2}^{2}+\lambda \left \| \alpha \right \|_{1}](https://latex.codecogs.com/gif.latex?%5Chat%7B%5Calpha%20%7D%3Darg%5C%2C%20m%5Cunderset%7B%5Calpha%20%7D%7Bin%7D%5Cleft%20%5C%7C%20y-D%5Calpha%20%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20%5Calpha%20%5Cright%20%5C%7C_%7B1%7D)

其中,\alpha是包含稀疏系数向量的矩阵。

    稀疏表示模型提供了观察图像的一个新视角,特别是超完备字典的引入更有利于反映图像复杂的结构信息,但它忽略了图形的自相似性。而且,字典的训练过程是非常费时的,同时如何合理求解稀疏表示系数也是该模型的一个重要问题。

4. 图像的低秩性先验

    与稀疏表示模型不同,低秩模型将相似的图像块重组为一个矩阵,矩阵每一个列都是一个展开的图像块向量,并利用相似块矩阵的低秩性先验进行图像去噪。

    对于一幅含噪图像y,将每组相似图像块向量化成列向量构成矩阵Y(![Y\in R^{m\times n}](https://latex.codecogs.com/gif.latex?Y%5Cin%20R%5E%7Bm%5Ctimes%20n%7D))。我们可以将矩阵Y看作是无噪矩阵X受加性噪声矩阵N干扰后的结果,其中矩阵X的列向量之间相关性很高,具有低秩的性质。在加性噪声模型下,含噪矩阵满足Y=X+N,其中N是随机的噪声干扰矩阵,通常情况下N是满秩的。用于含噪图像恢复的低秩方法可以分成两类:基于低秩矩阵分解的方法和基于核范数最小化的方法。

     第一类方法是以SVD分解为核心的,通过限制奇异值的数量或者大小来约束矩阵结构的稀疏性,从而给出图像块矩阵的低秩逼近。

    对降噪矩阵![\hat{X}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D)的估计需要解决的问题是用一个秩为k的低秩矩阵逼近含噪矩阵![Y](https://latex.codecogs.com/gif.latex?Y),该逼近基于![Y](https://latex.codecogs.com/gif.latex?Y)与![\hat{X}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D)之间差异的F范数进行最小化且以![rank(\hat{X})=k](https://latex.codecogs.com/gif.latex?rank%28%5Chat%7BX%7D%29%3Dk)作为约束:

                                            ![\hat{X}=arg\: m\underset{X}{in}\left \| Y-\tilde{X} \right \|_{F}^{2}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D%3Darg%5C%3A%20m%5Cunderset%7BX%7D%7Bin%7D%5Cleft%20%5C%7C%20Y-%5Ctilde%7BX%7D%20%5Cright%20%5C%7C_%7BF%7D%5E%7B2%7D)

                                            ![s.t.\: \: \: rank(\tilde{X})=k](https://latex.codecogs.com/gif.latex?s.t.%5C%3A%20%5C%3A%20%5C%3A%20rank%28%5Ctilde%7BX%7D%29%3Dk)

    上面问题可以由Y的奇异值分解解决,由于奇异值分解的能量压缩性质,信息的主要能量都集中在少数几个较大的奇异值上,而较小的奇异值对应于噪声子空间,将它们设置为零可以得到去噪后的低秩矩阵,问题的关键是如何确定阈值来区分信号与噪声,太大的阈值会使图像过于平滑从而模糊掉边缘及纹理,太小的阈值则难以达到去噪的效果。

    另一类使基于核范数最小化(NNM)的方法,该方法以F范数作为数据保真项,可以采用含噪矩阵奇异值的软阈值操作来求解。核范数最小化模型为:

                                            ![\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{*}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D%3Darg%5C%3A%20m%5Cunderset%7BX%7D%7Bin%7D%5Cleft%20%5C%7C%20Y-X%20%5Cright%20%5C%7C_%7BF%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20X%20%5Cright%20%5C%7C_%7B*%7D)

其中,\left \| \cdot \right \|_{F}^{2}表示F范数,并且\left \| X \right \|_{*}=\sum_{i}^{}\left \| \sigma _{i} (X)\right \|_{1},这里\sigma _{i}(X)表示X的第i个奇异值。尽管核范数最小化已被广泛应用于解决低秩矩阵逼近的问题,它仍存在一些不足。每个奇异值的权重相等,并且对每个奇异值应用相同的阈值收缩,但是不同的奇异值具有不同的重要性。因此就有学者提出了基于核范数最小化的WNNM模型,该模型可以自适应地将权重分配给不同大小地奇异值,并使用软阈值方法对其进行去噪。给定一个权重向量\omega,加权核范数最小化模型可表示为:

                                           ![\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{\omega *}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D%3Darg%5C%3A%20m%5Cunderset%7BX%7D%7Bin%7D%5Cleft%20%5C%7C%20Y-X%20%5Cright%20%5C%7C_%7BF%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20X%20%5Cright%20%5C%7C_%7B%5Comega%20*%7D)

其中,\left \| X \right \|_{\omega *}=\sum_{i}^{}\left \| \omega _{i}\sigma _{i}(X) \right \|_{1}。WNNM方法综合考虑了噪声在整个奇异值空间内的能量分布,显示了最先进的去噪结果。但由于WNNM的迭代增强步骤收敛到噪声图像并且迭代次数固定在经验值上,导致计算成本相对较高。此外,WNNM为噪声图像中给定的参考图像块寻找相似块时不考虑噪声因素,导致块匹配可能与参考图像块不完全相似。

    上面大多数被提及的方法通过对图像先验进行建模来解决,例如,基于梯度(例如总变差),非局部自相似(例如非局部均值),稀疏建模(例如图像块字典学习)和低秩性(例如加权核范数最小化)。然而,这些技术仍然受到重大限制,例如没有充分挖掘图像特征信息。基于梯度先验去噪方法的重点是局部特征,而忽略图像的全局结构。在许多情况下,这可能会使图像产生阶梯效应。同样,基于非局部自相似性的方法通常采用图像块加权平均,容易导致过度平滑图像。

[1]袁媛. 基于非局部自相似性的去噪算法研究[D].华东师范大学,2018.

[2]范琳伟. 基于非局部均值和正则化模型的图像去噪研究[D].山东大学,2019.

[3]邵欧阳. 基于非局部自相似性和低秩近似理论的地震数据去噪方法研究[D].中国地质大学,2021.DOI:10.27492/d.cnki.gzdzu.2021.000138.

[4]白同磊,张翠芳.外部非局部自相似先验的图像去噪[J].电讯技术,2021,61(02):211-217.

[5]Jing-Hua Yang, Xi-Le Zhao, Tian-Hui Ma, Meng Ding, Ting-Zhu Huang, Tensor train rank minimization with hybrid smoothness regularization for visual data recovery, Applied Mathematical Modelling, Volume 81, 2020,


本文转载自: https://blog.csdn.net/SmartLab307/article/details/127271140
版权归原作者 山科智能信息处理实验室 所有, 如有侵权,请联系我们删除。

“经典图像去噪算法概述”的评论:

还没有评论