SSIM学习

SSIM原文链接：

https://www.researchgate.net/profile/Eero-Simoncelli/publication/3327793_Image_Quality_Assessment_From_Error_Visibility_to_Structural_Similarity/links/542173b20cf203f155c6bf1a/Image-Quality-Assessment-From-Error-Visibility-to-Structural-Similarity.pdf

SSIM用途

SSIM是结构相似性度量（Structural Similarity Index），是一种衡量两个图像相似性的指标。在深度学习中，SSIM常被用来评估生成模型（如GAN）生成的图像与真实图像之间的相似程度。

SSIM通过比较图像的亮度、对比度和结构等方面的相似性，计算出两幅图像之间的相似性分数。它基于人眼对图像的感知，能够更好地反映图像质量，与传统的误差测量方法（如均方误差）相比，更具有鲁棒性和准确性。

我们通过肉眼，可以观察到在相同MSE，不同SSIM下图片的区别：

SSIM计算公式

SSIM在计算的时候主要由图片的3个关键特征决定，分别是：亮度（Luminance），对比度（Contrast），结构 (Structure)。

1. 亮度

亮度以单个像素的灰度值进行描述，用x表示predict图片某个通道中某个像素的灰度值，y表示label图片对应通道中对应像素的灰度值，我们通过求取x，y的样本均值来得到对应亮度的项：

我们能够发现

      μ 
     
    
      x 
     
    
   
     = 
    
    
    
      μ 
     
    
      y 
     
    
   
  
    \mu_x=\mu_y 
   
  
μx​=μy​的时候， 
 
  
   
   
     l 
    
   
     = 
    
   
     1 
    
   
  
    l=1 
   
  
l=1，引入C1是为了防止均值为0的情况。

2. 对比度

对比度以像素距离均值的偏移程度来进行描述，你可以想到如果一张图对比度越大，那它距离灰度的均值远的像素点就越多。我们通过求取样本标准差来得到对应对比度的项：

3. 结构

结构以像素的线性相关性来进行描述。我们通过求取协方差来得到对应结构的项：

4. SSIM最终公式

SSIM的最终计算公式为：

     S 
    
   
     S 
    
   
     I 
    
   
     M 
    
   
     ( 
    
   
     x 
    
   
     , 
    
   
     y 
    
   
     ) 
    
   
     = 
    
   
     [ 
    
   
     l 
    
   
     ( 
    
   
     x 
    
   
     , 
    
   
     y 
    
   
     ) 
    
    
    
      ] 
     
    
      α 
     
    
   
     [ 
    
   
     c 
    
   
     ( 
    
   
     x 
    
   
     , 
    
   
     y 
    
   
     ) 
    
    
    
      ] 
     
    
      β 
     
    
   
     [ 
    
   
     s 
    
   
     ( 
    
   
     x 
    
   
     , 
    
   
     y 
    
   
     ) 
    
    
    
      ] 
     
    
      γ 
     
    
   
  
    SSIM(x, y) = [l(x, y)]^α [c(x, y)]^β [s(x, y)]^γ 
   
  
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

其中，x和y分别表示待比较的两幅图像，l(x,y)、c(x,y)、s(x,y)分别为亮度相似度、对比度相似度和结构相似度，α、β、γ为加权系数，一般取1。

我们将上面计算的

     l 
    
   
     , 
    
   
     c 
    
   
     , 
    
   
     s 
    
   
  
    l, c, s 
   
  
l,c,s带入公式得到如下：

在实际应用中，由于像素总是正值，例如真彩色RGB 24bit，SSIM的值通常在0到1之间，越接近1表示两幅图像越相似。