经典图像去噪算法概述

一、图像去噪基础知识

1. 图像去噪模型

    图像在传输、存储和拍摄等过程中，由于电磁波、传输设备存在杂质信号、镜头污渍等外部条件的干扰会产生噪声。从而导致图像不能清晰、真实地反映事物。

    图像去噪算法地目的是将图像中的噪声去除，还原出无噪声的图像，并且最大限度地保存图像中原有的细节信息。通常图像去噪问题被当成一个逆问题来处理，给定一张M*N的噪声图像y，通过去噪算法去除图像噪声，恢复未被噪声污染过的图像x。噪声图像可用表达式：![y=x+v](https://latex.codecogs.com/gif.latex?y%3Dx+v)来表示。其中![v](https://latex.codecogs.com/gif.latex?v)表示图像噪声，图像去噪的模型如下图所示[1-3]。

2. 图像去噪类型

2.1 噪声类型——融合方式

    噪声的分类方法多种多样，根据噪声与图像信息两者之间的融合方式，能够将噪声模型分成加性噪声和乘性噪声两类。假设给定观测到的噪声图像为![y(i, j)](https://latex.codecogs.com/gif.latex?y%28i%2C%20j%29)， 原始图像为![x(i, j)](https://latex.codecogs.com/gif.latex?x%28i%2C%20j%29)，噪声为![v(i, j)](https://latex.codecogs.com/gif.latex?v%28i%2C%20j%29)，则加性噪声模型为：

                            ![y(i, j)=x(i, j)+v(i, j)](https://latex.codecogs.com/gif.latex?y%28i%2C%20j%29%3Dx%28i%2C%20j%29+v%28i%2C%20j%29)

乘性噪声模型为：

                            ![y(i, j)=x(i, j)\cdot v(i, j)+x(i, j)](https://latex.codecogs.com/gif.latex?y%28i%2C%20j%29%3Dx%28i%2C%20j%29%5Ccdot%20v%28i%2C%20j%29+x%28i%2C%20j%29)

    由噪声模型可以看出加性噪声和图像信号之间是相加的关系，不管有无图像信号的存在，噪声是客观存在的，因此可知图像信号和噪声信号之间是不相关的。而乘性噪声和图像信号之间是相乘的关系，图像信号存在，则噪声存在，图像信号不存在，噪声便不存在，故乘性噪声和图像信号之间是相关的。

2.2 噪声类型——概率分布

    根据噪声服从的概率密度分布，可以将其分为高斯噪声、脉冲噪声和泊松噪声等。

（1）高斯噪声

    高斯噪声是一类概率分布服从高斯分布的噪声，其概率密度为：

其中为噪声，为噪声均值，通常取为0，为噪声的标准差，由概率密度函数可以看出高斯噪声有很好的数学性质，该概率密度函数下函数的分布是对称的。现实生活中的噪声大多数能够近似表示为高斯噪声，因此通常研究者们在研究图像去噪算法时大多都使用均值为0，方差为的高斯噪声模拟真实噪声。

（2）脉冲噪声

    脉冲噪声的概率密度为：

脉冲噪声点的亮暗程度与a、b的取值有关，当b>a时，则值为a的点表现为暗点，值为b的点表现为亮点。反之则值为b的是暗点，值为a的点是亮点。

（3）泊松噪声

    泊松噪声的概率密度函数：

该概率密度下噪声的均值和方差都为，泊松噪声是因光量子测定时存在不确定性而导致的，因此泊松噪声一般在亮度很小或者高倍电子放大线路中会出现。

二、非局部均值图像去噪方法

    目前已有的许多图像去噪方法大多是基于“局部平滑”（例如，传统的均值滤波器和高斯滤波器）。 虽然这类方法是有效的，但由于缺乏自适应性会导致图像模糊。从下面四幅灰度图像可以看出，它们都含有很多相似重复的纹理信息，考虑在大多数图像中出现的冗余信息，研究人员发现图像的自相似性可以应用于图像去噪领域。2005年，Buades等人首次提出了一种非局部均值（NLM）去噪算法。该算法充分利用图像中的自相似性达到去噪的目的，首先通过计算邻域间的欧式距离得到相似性权值，然后使用相似像素的加权平均得到去噪图像。这种计算权值的方法仅与图像块的相似性有关，与位置无关因此很好的避免了虚假纹理的产生。与传统的去噪算法相比，NLM算法具有算法简单、去噪性能好、易于改进和扩展的特点。

  给定一个离散含噪图像![y=\left \{ y(i), i\in I \right \}](https://latex.codecogs.com/gif.latex?y%3D%5Cleft%20%5C%7B%20y%28i%29%2C%20i%5Cin%20I%20%5Cright%20%5C%7D)，即：

                                           ![x^{hat}(i)=\sum_{j\in S_{i}}^{}w_{NL}(i, j)y(j)](https://latex.codecogs.com/gif.latex?x%5E%7Bhat%7D%28i%29%3D%5Csum_%7Bj%5Cin%20S_%7Bi%7D%7D%5E%7B%7Dw_%7BNL%7D%28i%2C%20j%29y%28j%29)

其中，为去噪后的图像，是以像素i为中心的方形搜索窗口，为相似性权重系数，由像素点i和j的邻域相似性决定，该相似性通常利用图像块间的欧氏距离计算得到。因此，图像块相似性的度量如下所示，同时权值需要满足条件：且.

                                            ![w_{NL}(i, j)=\frac{1}{Z(i)}exp(-\frac{\left \| y(N_{i})-y(N_{j}) \right \|_{2}^{2}}{h})](https://latex.codecogs.com/gif.latex?w_%7BNL%7D%28i%2C%20j%29%3D%5Cfrac%7B1%7D%7BZ%28i%29%7Dexp%28-%5Cfrac%7B%5Cleft%20%5C%7C%20y%28N_%7Bi%7D%29-y%28N_%7Bj%7D%29%20%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D%7D%7Bh%7D%29)

其中，，表示以像素i为中心的图像块的灰度值，h控制指数函数的衰减速度并影响滤波程度。由上述公式可知权值依赖于邻域窗口e和的相似度，当权值越大，图像的邻域就越相似。

     非局部方法在去噪性能上优于局部方法，特别是对于高斯噪声。然而，NLM方法存在明显的不足，仍然有很大的改进空间，比如：较高的计算复杂度、相似性权重的计算公式受噪声影响较大和去噪参数确定不准等。

三、基于图像先验的正则化去噪模型

    对于正则化去噪方法，最重要的一步是找到一个合适的自然图像先验。由于应用的领域不同，人们所关注的图像特征也是不同的，因此需要根据需求来构造合理的正则化去噪模型。在研究过程中，来自不同国家的学者针对图像自身先验进行约束，提出了不同形式的正则化去噪模型。下面介绍一些最有影响力的图像先验知识，包括梯度先验、非局部自相似性先验、稀疏性先验和低秩性先验。

1. 图像的梯度先验

    最早将梯度先验引入图像去噪的是Tikhonov正则化方法，该方法根据原始图像是“平滑”这一假设进行去噪的。但是这种光滑约束是各向同性的，在去除噪声的过程中难免平滑掉大量边界以及细节结构。为了防止这种情况的发生。1992年，又有学者提出了基于TV的正则化方法来克服去噪图像的平滑性，这是该领域最有影响力的工作。TV正则项的本质是梯度的L1范数，定义为：

                                            ![R_{TV}=\left \| \bigtriangledown x \right \|_{1}](https://latex.codecogs.com/gif.latex?R_%7BTV%7D%3D%5Cleft%20%5C%7C%20%5Cbigtriangledown%20x%20%5Cright%20%5C%7C_%7B1%7D)

其中，是的梯度。进而得到图像的去噪模型：

                                            ![arg min_{x}\frac{1}{2}\left \| y-x \right \|_{2}^{2}+\lambda \left \| \bigtriangledown x \right \|_{1}](https://latex.codecogs.com/gif.latex?arg%20min_%7Bx%7D%5Cfrac%7B1%7D%7B2%7D%5Cleft%20%5C%7C%20y-x%20%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20%5Cbigtriangledown%20x%20%5Cright%20%5C%7C_%7B1%7D)

    这种极小化问题也称为ROF模型，它具有以下几个优点：1）该模型存在唯一解；2）关于x的解空间函数是不连续函数，即允许存在边缘位置的特殊像素点，所以在去噪过程中能较好地保持边缘。由于以上优点，TV模型被广泛用于图像去噪。但是模型也存在着缺陷：1）由于TV模型沿像素梯度方向是平滑地，容易将噪声当作伪纹理而被保存下，因此在平坦区域易产生阶梯效应；2）由于TV模型逐个相邻像素点计算像素差，会导致图像纹理趋于过平滑；3）TV模型中正则化参数的选择是依赖于经验值的，因此选择合适的参数值存在一定的难度。下图是利用了TV正则化后的视频数据恢复算法（HSR-TT）的对比图，选择视频的大小为256*256*30，我们选择第10帧作为对比[5]。

2. 图像的非局部自相似先验

    基于自然图像在不同位置包含大量相似图像这一事实，一系列方法利用了图像的非局部自相似（NSS）先验进行去噪。这类正则化去噪模型的开创性工作就是上面所讲的NLM去噪。通过将NLM中的第一步，即像素相关性的估计，视为图像相关图的构成方法，开发了各种形式的基于图拉普拉斯的正则化方法。根据前面介绍的相似性度量公式，NSS先验定义为：

                                    ![R_{NSS}(x)=\sum_{x_{i}\in x}^{}\left \| x_{i} -NLM(x_{i})\right \|_{2}^{2}=\sum_{x_{i}\in x}^{}\left \| x_{i}- w_{i}^{T}\kappa _{i}\right \|_{2}^{2}](https://latex.codecogs.com/gif.latex?R_%7BNSS%7D%28x%29%3D%5Csum_%7Bx_%7Bi%7D%5Cin%20x%7D%5E%7B%7D%5Cleft%20%5C%7C%20x_%7Bi%7D%20-NLM%28x_%7Bi%7D%29%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D%3D%5Csum_%7Bx_%7Bi%7D%5Cin%20x%7D%5E%7B%7D%5Cleft%20%5C%7C%20x_%7Bi%7D-%20w_%7Bi%7D%5E%7BT%7D%5Ckappa%20_%7Bi%7D%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D)

其中，是由在一个搜索窗口内所有围绕像素的中心像素形成的列向量，是一个包含所有相应权重的列向量。 尽管这类去噪算法取得了巨大的成功，但它们往往无法保持细致的纹理，着极大地降低了图像地视觉质量。

3. 图像的稀疏性先验

    由于自然图像具有冗余性，因此可以用字典进行稀疏表示。根据此先验知识，基于冗余字典的稀疏表示的去噪算法已成为近年来研究的热点问题。无噪声图像在字典下表示是稀疏的，而噪声随机的是不可稀疏的，因此图像信息蕴含在少量的系数中。

    图像稀疏表示的数学模型是![x=D\alpha](https://latex.codecogs.com/gif.latex?x%3DD%5Calpha)，将输入图像块分解为矩阵D与向量![\alpha](https://latex.codecogs.com/gif.latex?%5Calpha)的乘积形式，其中矩阵D由一组基向量组成，向量α中大部分元素为零。由于传统的正交基对图像稀疏表示能力有限，有学者提出了字典的概念，用过完备字典代替正交小波基。这使得图像在冗余基库中可以方便地选择基向量，以更好地实现对复杂图像的稀疏表示。

     稀疏表示模型的求解可以转化为优化问题，用L1范数约束，即![min_{\alpha }\left \| \alpha \right \|_{1}](https://latex.codecogs.com/gif.latex?min_%7B%5Calpha%20%7D%5Cleft%20%5C%7C%20%5Calpha%20%5Cright%20%5C%7C_%7B1%7D)     ![s.t.\, \, \, x=D\alpha](https://latex.codecogs.com/gif.latex?s.t.%5C%2C%20%5C%2C%20%5C%2C%20x%3DD%5Calpha)。通用的稀疏表示模型为

                            ![\hat{\alpha }=arg\, m\underset{\alpha }{in}\left \| y-D\alpha \right \|_{2}^{2}+\lambda \left \| \alpha \right \|_{1}](https://latex.codecogs.com/gif.latex?%5Chat%7B%5Calpha%20%7D%3Darg%5C%2C%20m%5Cunderset%7B%5Calpha%20%7D%7Bin%7D%5Cleft%20%5C%7C%20y-D%5Calpha%20%5Cright%20%5C%7C_%7B2%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20%5Calpha%20%5Cright%20%5C%7C_%7B1%7D)

其中，是包含稀疏系数向量的矩阵。

    稀疏表示模型提供了观察图像的一个新视角，特别是超完备字典的引入更有利于反映图像复杂的结构信息，但它忽略了图形的自相似性。而且，字典的训练过程是非常费时的，同时如何合理求解稀疏表示系数也是该模型的一个重要问题。

4. 图像的低秩性先验

    与稀疏表示模型不同，低秩模型将相似的图像块重组为一个矩阵，矩阵每一个列都是一个展开的图像块向量，并利用相似块矩阵的低秩性先验进行图像去噪。

    对于一幅含噪图像y，将每组相似图像块向量化成列向量构成矩阵Y(![Y\in R^{m\times n}](https://latex.codecogs.com/gif.latex?Y%5Cin%20R%5E%7Bm%5Ctimes%20n%7D))。我们可以将矩阵Y看作是无噪矩阵X受加性噪声矩阵N干扰后的结果，其中矩阵X的列向量之间相关性很高，具有低秩的性质。在加性噪声模型下，含噪矩阵满足Y=X+N，其中N是随机的噪声干扰矩阵，通常情况下N是满秩的。用于含噪图像恢复的低秩方法可以分成两类：基于低秩矩阵分解的方法和基于核范数最小化的方法。

     第一类方法是以SVD分解为核心的，通过限制奇异值的数量或者大小来约束矩阵结构的稀疏性，从而给出图像块矩阵的低秩逼近。

    对降噪矩阵![\hat{X}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D)的估计需要解决的问题是用一个秩为k的低秩矩阵逼近含噪矩阵![Y](https://latex.codecogs.com/gif.latex?Y)，该逼近基于![Y](https://latex.codecogs.com/gif.latex?Y)与![\hat{X}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D)之间差异的F范数进行最小化且以![rank(\hat{X})=k](https://latex.codecogs.com/gif.latex?rank%28%5Chat%7BX%7D%29%3Dk)作为约束：

                                            ![\hat{X}=arg\: m\underset{X}{in}\left \| Y-\tilde{X} \right \|_{F}^{2}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D%3Darg%5C%3A%20m%5Cunderset%7BX%7D%7Bin%7D%5Cleft%20%5C%7C%20Y-%5Ctilde%7BX%7D%20%5Cright%20%5C%7C_%7BF%7D%5E%7B2%7D)

                                            ![s.t.\: \: \: rank(\tilde{X})=k](https://latex.codecogs.com/gif.latex?s.t.%5C%3A%20%5C%3A%20%5C%3A%20rank%28%5Ctilde%7BX%7D%29%3Dk)

    上面问题可以由Y的奇异值分解解决，由于奇异值分解的能量压缩性质，信息的主要能量都集中在少数几个较大的奇异值上，而较小的奇异值对应于噪声子空间，将它们设置为零可以得到去噪后的低秩矩阵，问题的关键是如何确定阈值来区分信号与噪声，太大的阈值会使图像过于平滑从而模糊掉边缘及纹理，太小的阈值则难以达到去噪的效果。

    另一类使基于核范数最小化（NNM）的方法，该方法以F范数作为数据保真项，可以采用含噪矩阵奇异值的软阈值操作来求解。核范数最小化模型为：

                                            ![\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{*}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D%3Darg%5C%3A%20m%5Cunderset%7BX%7D%7Bin%7D%5Cleft%20%5C%7C%20Y-X%20%5Cright%20%5C%7C_%7BF%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20X%20%5Cright%20%5C%7C_%7B*%7D)

其中，表示F范数，并且，这里表示X的第i个奇异值。尽管核范数最小化已被广泛应用于解决低秩矩阵逼近的问题，它仍存在一些不足。每个奇异值的权重相等，并且对每个奇异值应用相同的阈值收缩，但是不同的奇异值具有不同的重要性。因此就有学者提出了基于核范数最小化的WNNM模型，该模型可以自适应地将权重分配给不同大小地奇异值，并使用软阈值方法对其进行去噪。给定一个权重向量，加权核范数最小化模型可表示为：

                                           ![\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{\omega *}](https://latex.codecogs.com/gif.latex?%5Chat%7BX%7D%3Darg%5C%3A%20m%5Cunderset%7BX%7D%7Bin%7D%5Cleft%20%5C%7C%20Y-X%20%5Cright%20%5C%7C_%7BF%7D%5E%7B2%7D+%5Clambda%20%5Cleft%20%5C%7C%20X%20%5Cright%20%5C%7C_%7B%5Comega%20*%7D)

其中，。WNNM方法综合考虑了噪声在整个奇异值空间内的能量分布，显示了最先进的去噪结果。但由于WNNM的迭代增强步骤收敛到噪声图像并且迭代次数固定在经验值上，导致计算成本相对较高。此外，WNNM为噪声图像中给定的参考图像块寻找相似块时不考虑噪声因素，导致块匹配可能与参考图像块不完全相似。

    上面大多数被提及的方法通过对图像先验进行建模来解决，例如，基于梯度（例如总变差），非局部自相似（例如非局部均值），稀疏建模（例如图像块字典学习）和低秩性（例如加权核范数最小化）。然而，这些技术仍然受到重大限制，例如没有充分挖掘图像特征信息。基于梯度先验去噪方法的重点是局部特征，而忽略图像的全局结构。在许多情况下，这可能会使图像产生阶梯效应。同样，基于非局部自相似性的方法通常采用图像块加权平均，容易导致过度平滑图像。

[1]袁媛. 基于非局部自相似性的去噪算法研究[D].华东师范大学,2018.

[2]范琳伟. 基于非局部均值和正则化模型的图像去噪研究[D].山东大学,2019.

[3]邵欧阳. 基于非局部自相似性和低秩近似理论的地震数据去噪方法研究[D].中国地质大学,2021.DOI:10.27492/d.cnki.gzdzu.2021.000138.

[4]白同磊,张翠芳.外部非局部自相似先验的图像去噪[J].电讯技术,2021,61(02):211-217.

[5]Jing-Hua Yang, Xi-Le Zhao, Tian-Hui Ma, Meng Ding, Ting-Zhu Huang, Tensor train rank minimization with hybrid smoothness regularization for visual data recovery, Applied Mathematical Modelling, Volume 81, 2020,