0
0

【深度学习】生成模型：VAE(自编码器)模型解析

目录

1 前言

本文为自己自学内容的记录，其中多有借鉴别人博客的地方，一并在参考文献中给出链接，其中大部分截图来自李宏毅深度学习PPT课件。其中内容有理解不到位的地方，各位大佬在评论区给出修改意见，感恩。

  本文前置知识高斯混合模型和EM算法，如果不了解这两种算法直接看VAE模型会有理解上的障碍。

2 VAE模型

2.1 VAE模型推导

VAE模型的初始化推导和EM算法的推导有相似之处，不同的是在VAE模型中隐变量

  1.      Z
  2.     
  3.    
  4.    
  5.     Z
  6.    
  7.   
  8.  Z是一个连续的无穷维而不是跟高斯分布一样为有限的离散变量，所以在VAE的参数估计中用到了神经网络。

  VAE是一个深度生成模型，其最终目的是生成出概率分布

  1.     P
  2.    
  3.    
  4.     (
  5.    
  6.    
  7.     x
  8.    
  9.    
  10.     )
  11.    
  12.   
  13.   
  14.    P(x)
  15.   
  16.  
  17. P(x)，
  19.  
  20.   
  21.    
  22.     x
  23.    
  24.   
  25.   
  26.    x
  27.   
  28.  
  29. x即输入数据。在VAE中，通过高斯混合模型(Gaussian Mixture Model)来生成
  31.  
  32.   
  33.    
  34.     P
  35.    
  36.    
  37.     (
  38.    
  39.    
  40.     x
  41.    
  42.    
  43.     )
  44.    
  45.   
  46.   
  47.    P(x)
  48.   
  49.  
  50. P(x)，也就是说
  52.  
  53.   
  54.    
  55.     P
  56.    
  57.    
  58.     (
  59.    
  60.    
  61.     x
  62.    
  63.    
  64.     )
  65.    
  66.   
  67.   
  68.    P(x)
  69.   
  70.  
  71. P(x)是由一系列高斯分布叠加而成的，每一个高斯分布都有它自己的参数 
  73.  
  74.   
  75.    
  76.     μ
  77.    
  78.   
  79.   
  80.    \mu
  81.   
  82.  
  83. μ 和 
  85.  
  86.   
  87.    
  88.     σ
  89.    
  90.   
  91.   
  92.    \sigma
  93.   
  94.  
  95. σ。

在这里插入图片描述
为此假设隐变量

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z服从
  10.  
  11.   
  12.    
  13.     z
  14.    
  15.    
  16.     ∼
  17.    
  18.    
  19.     N
  20.    
  21.    
  22.     (
  23.    
  24.    
  25.     0
  26.    
  27.    
  28.     ,
  29.    
  30.    
  31.     I
  32.    
  33.    
  34.     )
  35.    
  36.   
  37.   
  38.    \mathrm{z} \sim \mathrm{N}(0, \mathrm{I})
  39.   
  40.  
  41. z∼N(0,I)(注意
  43.  
  44.   
  45.    
  46.     z
  47.    
  48.   
  49.   
  50.    z
  51.   
  52.  
  53. z是一个向量，生成自一个高斯分布)，并且找一个映射关系将向量
  55.  
  56.   
  57.    
  58.     z
  59.    
  60.   
  61.   
  62.    z
  63.   
  64.  
  65. z映射成这一系列高斯分布的参数向量
  67.  
  68.   
  69.    
  70.     μ
  71.    
  72.    
  73.     (
  74.    
  75.    
  76.     z
  77.    
  78.    
  79.     )
  80.    
  81.   
  82.   
  83.    \mu(z)
  84.   
  85.  
  86. μ(z)和
  88.  
  89.   
  90.    
  91.     σ
  92.    
  93.    
  94.     (
  95.    
  96.    
  97.     z
  98.    
  99.    
  100.     )
  101.    
  102.   
  103.   
  104.    \sigma (z)
  105.   
  106.  
  107. σ(z)。有了这一系列高斯分布的参数，就可以得到叠加后的
  109.  
  110.   
  111.    
  112.     P
  113.    
  114.    
  115.     (
  116.    
  117.    
  118.     x
  119.    
  120.    
  121.     )
  122.    
  123.   
  124.   
  125.    P(x)
  126.   
  127.  
  128. P(x)的形式，即
  130.  
  131.   
  132.    
  133.     x
  134.    
  135.    
  136.     ∣
  137.    
  138.    
  139.     z
  140.    
  141.    
  142.     ∼
  143.    
  144.    
  145.     N
  146.    
  147.    
  148.     (
  149.    
  150.    
  151.     μ
  152.    
  153.    
  154.     (
  155.    
  156.    
  157.     z
  158.    
  159.    
  160.     )
  161.    
  162.    
  163.     ,
  164.    
  165.    
  166.     σ
  167.    
  168.    
  169.     (
  170.    
  171.    
  172.     z
  173.    
  174.    
  175.     )
  176.    
  177.    
  178.     )
  179.    
  180.   
  181.   
  182.    \mathrm{x} \mid \mathrm{z} \sim \mathrm{N}(\mu(\mathrm{z}), \sigma(\mathrm{z}))
  183.   
  184.  
  185. x∣z∼N(μ(z),σ(z))（这里的“形式”仅是对某一个向量
  187.  
  188.   
  189.    
  190.     z
  191.    
  192.   
  193.   
  194.    z
  195.   
  196.  
  197. z所得到的）这里可以结合高斯混合模型理解，也可以结合参考文献【2】中的例子理解，总之就是假设隐变量
  198.  
  199.   
  200.    
  201.     
  202.      Z
  203.     
  204.    
  205.    
  206.     Z
  207.    
  208.   
  209.  Z服从某一种分布，而观察到的样本
  210.  
  211.   
  212.    
  213.     
  214.      X
  215.     
  216.    
  217.    
  218.     X
  219.    
  220.   
  221.  X属于
  222.  
  223.   
  224.    
  225.     
  226.      Z
  227.     
  228.    
  229.    
  230.     Z
  231.    
  232.   
  233.  Z的某一个分布的概率。

  那么要找的这个映射关系

  1.     P
  2.    
  3.    
  4.     (
  5.    
  6.    
  7.     x
  8.    
  9.    
  10.     ∣
  11.    
  12.    
  13.     z
  14.    
  15.    
  16.     )
  17.    
  18.   
  19.   
  20.    P(x|z)
  21.   
  22.  
  23. P(x∣z)如何获得？这里就需要用到神经网络，那么为什么不用极大似然估计，因为在VAE模型中隐变量数量假设是高维无限的，没有办法用积分去做，所以用神经网络去拟合（神经网络可以拟合任意函数）。如下图所示：

在这里插入图片描述
输入向量

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z，得到参数向量
  10.  
  11.   
  12.    
  13.     μ
  14.    
  15.    
  16.     (
  17.    
  18.    
  19.     z
  20.    
  21.    
  22.     )
  23.    
  24.   
  25.   
  26.    \mu (z)
  27.   
  28.  
  29. μ(z)和
  31.  
  32.   
  33.    
  34.     σ
  35.    
  36.    
  37.     (
  38.    
  39.    
  40.     z
  41.    
  42.    
  43.     )
  44.    
  45.   
  46.   
  47.    \sigma (z)
  48.   
  49.  
  50. σ(z)。这个映射关系是要在训练过程中更新NN权重得到的。这部分作用相当于最终的解码器(decoder)。

  对于某一个向量

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z我们知道了如何找到
  10.  
  11.   
  12.    
  13.     P
  14.    
  15.    
  16.     (
  17.    
  18.    
  19.     x
  20.    
  21.    
  22.     )
  23.    
  24.   
  25.   
  26.    P(x)
  27.   
  28.  
  29. P(x)，那么对连续变量
  31.  
  32.   
  33.    
  34.     z
  35.    
  36.   
  37.   
  38.    z
  39.   
  40.  
  41. z依据全概率公式有:
  43.  
  44.   
  45.    
  46.     
  47.      P
  48.     
  49.     
  50.      (
  51.     
  52.     
  53.      x
  54.     
  55.     
  56.      )
  57.     
  58.     
  59.      =
  60.     
  61.     
  62.      
  63.       ∫
  64.      
  65.      
  66.       z
  67.      
  68.     
  69.     
  70.      P
  71.     
  72.     
  73.      (
  74.     
  75.     
  76.      z
  77.     
  78.     
  79.      )
  80.     
  81.     
  82.      P
  83.     
  84.     
  85.      (
  86.     
  87.     
  88.      x
  89.     
  90.     
  91.      ∣
  92.     
  93.     
  94.      z
  95.     
  96.     
  97.      )
  98.     
  99.     
  100.      
  101.       d
  102.      
  103.      
  104.       z
  105.      
  106.     
  107.    
  108.    
  109.     \mathrm{P}(\mathrm{x})=\int_{\mathrm{z}} \mathrm{P}(\mathrm{z}) \mathrm{P}(\mathrm{x} \mid \mathrm{z}) \mathrm{dz}
  110.    
  111.   
  112.  P(x)=∫z​P(z)P(x∣z)dz

  但是很难直接计算积分部分，因为我们很难穷举出所有的向量

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z用于计算积分。又因为
  10.  
  11.   
  12.    
  13.     P
  14.    
  15.    
  16.     (
  17.    
  18.    
  19.     x
  20.    
  21.    
  22.     )
  23.    
  24.   
  25.   
  26.    P(x)
  27.   
  28.  
  29. P(x) 难以计算，那么真实的后验概率 
  31.  
  32.   
  33.    
  34.     P
  35.    
  36.    
  37.     (
  38.    
  39.    
  40.     z
  41.    
  42.    
  43.     ∣
  44.    
  45.    
  46.     x
  47.    
  48.    
  49.     )
  50.    
  51.    
  52.     =
  53.    
  54.    
  55.     P
  56.    
  57.    
  58.     (
  59.    
  60.    
  61.     z
  62.    
  63.    
  64.     )
  65.    
  66.    
  67.     P
  68.    
  69.    
  70.     (
  71.    
  72.    
  73.     x
  74.    
  75.    
  76.     ∣
  77.    
  78.    
  79.     z
  80.    
  81.    
  82.     )
  83.    
  84.    
  85.     /
  86.    
  87.    
  88.     P
  89.    
  90.    
  91.     (
  92.    
  93.    
  94.     x
  95.    
  96.    
  97.     )
  98.    
  99.   
  100.   
  101.    P(z∣x)=P(z)P(x∣z)/P(x)
  102.   
  103.  
  104. P(z∣x)=P(z)P(x∣z)/P(x) 同样是不容易计算的，这也就是为什么下文要引入
  106.  
  107.   
  108.    
  109.     q
  110.    
  111.    
  112.     (
  113.    
  114.    
  115.     z
  116.    
  117.    
  118.     ∣
  119.    
  120.    
  121.     x
  122.    
  123.    
  124.     )
  125.    
  126.   
  127.   
  128.    q(z|x)
  129.   
  130.  
  131. q(z∣x)来近似真实后验概率
  133.  
  134.   
  135.    
  136.     P
  137.    
  138.    
  139.     (
  140.    
  141.    
  142.     z
  143.    
  144.    
  145.     ∣
  146.    
  147.    
  148.     x
  149.    
  150.    
  151.     )
  152.    
  153.   
  154.   
  155.    P(z|x)
  156.   
  157.  
  158. P(z∣x)。

因此我们用极大似然估计来估计

  1.     P
  2.    
  3.    
  4.     (
  5.    
  6.    
  7.     x
  8.    
  9.    
  10.     )
  11.    
  12.   
  13.   
  14.    P(x)
  15.   
  16.  
  17. P(x)，有似然函数
  19.  
  20.   
  21.    
  22.     L
  23.    
  24.   
  25.   
  26.    L
  27.   
  28.  
  29. L：
  31.  
  32.   
  33.    
  34.     
  35.      L
  36.     
  37.     
  38.      =
  39.     
  40.     
  41.      
  42.       ∑
  43.      
  44.      
  45.       x
  46.      
  47.     
  48.     
  49.      log
  50.     
  51.     
  52.      ⁡
  53.     
  54.     
  55.      P
  56.     
  57.     
  58.      (
  59.     
  60.     
  61.      x
  62.     
  63.     
  64.      )
  65.     
  66.    
  67.    
  68.     \mathrm{L}=\sum_{\mathrm{x}} \log \mathrm{P}(\mathrm{x})
  69.    
  70.   
  71.  L=x∑​logP(x)

这里额外引入一个分布 

  1.     q
  2.    
  3.    
  4.     (
  5.    
  6.    
  7.     z
  8.    
  9.    
  10.     ∣
  11.    
  12.    
  13.     x
  14.    
  15.    
  16.     )
  17.    
  18.   
  19.   
  20.    q(z|x)
  21.   
  22.  
  23. q(z∣x)，
  25.  
  26.   
  27.    
  28.     z
  29.    
  30.    
  31.     ∣
  32.    
  33.    
  34.     x
  35.    
  36.    
  37.     ∼
  38.    
  39.    
  40.     N
  41.    
  42.    
  43.     (
  44.    
  45.    
  46.     
  47.      μ
  48.     
  49.     
  50.      ′
  51.     
  52.    
  53.    
  54.     (
  55.    
  56.    
  57.     x
  58.    
  59.    
  60.     )
  61.    
  62.    
  63.     ,
  64.    
  65.    
  66.     
  67.      σ
  68.     
  69.     
  70.      ′
  71.     
  72.    
  73.    
  74.     (
  75.    
  76.    
  77.     x
  78.    
  79.    
  80.     )
  81.    
  82.    
  83.     )
  84.    
  85.   
  86.   
  87.    z|x \sim N\big(\mu^\prime(x), \sigma^\prime(x)\big)
  88.   
  89.  
  90. z∣x∼N(μ′(x),σ′(x))，这个分布表示形式如下：

在这里插入图片描述
这个分布同样是用一个神经网络来完成，向量

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z根据NN输出的参数向量
  10.  
  11.   
  12.    
  13.     
  14.      μ
  15.     
  16.     
  17.      ′
  18.     
  19.    
  20.    
  21.     (
  22.    
  23.    
  24.     x
  25.    
  26.    
  27.     )
  28.    
  29.   
  30.   
  31.    \mu '(x)
  32.   
  33.  
  34. μ′(x) 和 
  36.  
  37.   
  38.    
  39.     
  40.      σ
  41.     
  42.     
  43.      ′
  44.     
  45.    
  46.    
  47.     (
  48.    
  49.    
  50.     x
  51.    
  52.    
  53.     )
  54.    
  55.   
  56.   
  57.    \sigma '(x)
  58.   
  59.  
  60. σ′(x) 运算得到，这部分作用相当于编码器(encoder)。

注意：这里为什么需要引入额外的分布

  1.      q
  2.     
  3.     
  4.      (
  5.     
  6.     
  7.      z
  8.     
  9.     
  10.      ∣
  11.     
  12.     
  13.      x
  14.     
  15.     
  16.      )
  17.     
  18.    
  19.    
  20.     q(z|x)
  21.    
  22.   
  23.  q(z∣x)，跟EM算法的求解过程做对比，在EM算法中
  24.  
  25.   
  26.    
  27.     
  28.      q
  29.     
  30.     
  31.      (
  32.     
  33.     
  34.      z
  35.     
  36.     
  37.      )
  38.     
  39.    
  40.    
  41.     q(z)
  42.    
  43.   
  44.  q(z)是可以取到
  45.  
  46.   
  47.    
  48.     
  49.      P
  50.     
  51.     
  52.      (
  53.     
  54.     
  55.      z
  56.     
  57.     
  58.      ∣
  59.     
  60.     
  61.      x
  62.     
  63.     
  64.      )
  65.     
  66.    
  67.    
  68.     P(z|x)
  69.    
  70.   
  71.  P(z∣x)，从而令散度等于零不断的抬升下界进行极大似然估计，但是在VAE中由于
  72.  
  73.   
  74.    
  75.     
  76.      P
  77.     
  78.     
  79.      (
  80.     
  81.     
  82.      z
  83.     
  84.     
  85.      ∣
  86.     
  87.     
  88.      x
  89.     
  90.     
  91.      )
  92.     
  93.    
  94.    
  95.     P(z|x)
  96.    
  97.   
  98.  P(z∣x)是很难求的所以引入一个变量q(x)对其进行近似。

接下来进行公式的推导，由于在EM算法中已经推导出了ELBO+KL的形式，这里就直接拿来用：

  1.      log
  2.     
  3.     
  4.      ⁡
  5.     
  6.     
  7.      P
  8.     
  9.     
  10.      (
  11.     
  12.     
  13.      x
  14.     
  15.     
  16.      ∣
  17.     
  18.     
  19.      θ
  20.     
  21.     
  22.      )
  23.     
  24.     
  25.      =
  26.     
  27.     
  28.      
  29.       ∫
  30.      
  31.      
  32.       Z
  33.      
  34.     
  35.     
  36.      q
  37.     
  38.     
  39.      (
  40.     
  41.     
  42.      z
  43.     
  44.     
  45.      ∣
  46.     
  47.     
  48.      x
  49.     
  50.     
  51.      )
  52.     
  53.     
  54.      log
  55.     
  56.     
  57.      ⁡
  58.     
  59.     
  60.      
  61.       
  62.        P
  63.       
  64.       
  65.        (
  66.       
  67.       
  68.        x
  69.       
  70.       
  71.        ,
  72.       
  73.       
  74.        z
  75.       
  76.       
  77.        ∣
  78.       
  79.       
  80.        θ
  81.       
  82.       
  83.        )
  84.       
  85.      
  86.      
  87.       
  88.        q
  89.       
  90.       
  91.        (
  92.       
  93.       
  94.        z
  95.       
  96.       
  97.        ∣
  98.       
  99.       
  100.        x
  101.       
  102.       
  103.        )
  104.       
  105.      
  106.     
  107.     
  108.      d
  109.     
  110.     
  111.      z
  112.     
  113.     
  114.      +
  115.     
  116.     
  117.      
  118.       D
  119.      
  120.      
  121.       
  122.        K
  123.       
  124.       
  125.        L
  126.       
  127.      
  128.     
  129.     
  130.      (
  131.     
  132.     
  133.      q
  134.     
  135.     
  136.      (
  137.     
  138.     
  139.      z
  140.     
  141.     
  142.      ∣
  143.     
  144.     
  145.      x
  146.     
  147.     
  148.      )
  149.     
  150.     
  151.      ∥
  152.     
  153.     
  154.      P
  155.     
  156.     
  157.      (
  158.     
  159.     
  160.      z
  161.     
  162.     
  163.      ∣
  164.     
  165.     
  166.      x
  167.     
  168.     
  169.      ,
  170.     
  171.     
  172.      θ
  173.     
  174.     
  175.      )
  176.     
  177.     
  178.      )
  179.     
  180.    
  181.    
  182.     \log P(\mathrm{x} \mid \theta)=\int_{Z} q(\mathrm{z}|\mathrm{x}) \log \frac{P(\mathrm{x}, \mathrm{z} \mid \theta)}{q(\mathrm{z}|\mathrm{x})} d \mathrm{z}+D_{K L}(q(\mathrm{z}|\mathrm{x}) \| P(\mathrm{z} \mid \mathrm{x}, \theta))
  183.    
  184.   
  185.  logP(x∣θ)=∫Z​q(z∣x)logq(z∣x)P(x,z∣θ)​dz+DKL​(q(z∣x)∥P(z∣x,θ))

根据KL divergence的性质 

  1.      D
  2.     
  3.     
  4.      
  5.       K
  6.      
  7.      
  8.       L
  9.      
  10.     
  11.    
  12.    
  13.     (
  14.    
  15.    
  16.     q
  17.    
  18.    
  19.     (
  20.    
  21.    
  22.     z
  23.    
  24.    
  25.     ∣
  26.    
  27.    
  28.     x
  29.    
  30.    
  31.     )
  32.    
  33.    
  34.     ∥
  35.    
  36.    
  37.     P
  38.    
  39.    
  40.     (
  41.    
  42.    
  43.     z
  44.    
  45.    
  46.     ∣
  47.    
  48.    
  49.     x
  50.    
  51.    
  52.     ,
  53.    
  54.    
  55.     θ
  56.    
  57.    
  58.     )
  59.    
  60.    
  61.     )
  62.    
  63.    
  64.     ≥
  65.    
  66.    
  67.     0
  68.    
  69.   
  70.   
  71.    D_{K L}(q(\mathrm{z}|\mathrm{x}) \| P(\mathrm{z} \mid \mathrm{x}, \theta)) \geq 0
  72.   
  73.  
  74. DKL​(q(z∣x)∥P(z∣x,θ))≥0 当且仅当 
  76.  
  77.   
  78.    
  79.     q
  80.    
  81.    
  82.     (
  83.    
  84.    
  85.     z
  86.    
  87.    
  88.     ∣
  89.    
  90.    
  91.     x
  92.    
  93.    
  94.     )
  95.    
  96.    
  97.     =
  98.    
  99.    
  100.     P
  101.    
  102.    
  103.     (
  104.    
  105.    
  106.     z
  107.    
  108.    
  109.     ∣
  110.    
  111.    
  112.     x
  113.    
  114.    
  115.     ,
  116.    
  117.    
  118.     θ
  119.    
  120.    
  121.     )
  122.    
  123.   
  124.   
  125.    q(\mathrm{z}|\mathrm{x})=P(\mathrm{z} \mid \mathrm{x}, \theta)
  126.   
  127.  
  128. q(z∣x)=P(z∣x,θ)取等号，因此有
  130.  
  131.   
  132.    
  133.     
  134.      log
  135.     
  136.     
  137.      ⁡
  138.     
  139.     
  140.      P
  141.     
  142.     
  143.      (
  144.     
  145.     
  146.      x
  147.     
  148.     
  149.      ∣
  150.     
  151.     
  152.      θ
  153.     
  154.     
  155.      )
  156.     
  157.     
  158.      ≥
  159.     
  160.     
  161.      
  162.       ∫
  163.      
  164.      
  165.       z
  166.      
  167.     
  168.     
  169.      q
  170.     
  171.     
  172.      (
  173.     
  174.     
  175.      z
  176.     
  177.     
  178.      ∣
  179.     
  180.     
  181.      x
  182.     
  183.     
  184.      )
  185.     
  186.     
  187.      log
  188.     
  189.     
  190.      ⁡
  191.     
  192.     
  193.      
  194.       
  195.        P
  196.       
  197.       
  198.        (
  199.       
  200.       
  201.        x
  202.       
  203.       
  204.        ,
  205.       
  206.       
  207.        z
  208.       
  209.       
  210.        ∣
  211.       
  212.       
  213.        θ
  214.       
  215.       
  216.        )
  217.       
  218.      
  219.      
  220.       
  221.        q
  222.       
  223.       
  224.        (
  225.       
  226.       
  227.        z
  228.       
  229.       
  230.        ∣
  231.       
  232.       
  233.        x
  234.       
  235.       
  236.        )
  237.       
  238.      
  239.     
  240.     
  241.      d
  242.     
  243.     
  244.      z
  245.     
  246.    
  247.    
  248.     \log P(\mathrm{x} \mid \theta) \geq \int_{z} q(\mathrm{z}|\mathrm{x}) \log \frac{P(\mathrm{x}, \mathrm{z} \mid \theta)}{q(\mathrm{z}|\mathrm{x})} d \mathrm{z}
  249.    
  250.   
  251.  logP(x∣θ)≥∫z​q(z∣x)logq(z∣x)P(x,z∣θ)​dz

因此便得到了

  1.     log
  2.    
  3.    
  4.     ⁡
  5.    
  6.    
  7.     P
  8.    
  9.    
  10.     (
  11.    
  12.    
  13.     X
  14.    
  15.    
  16.     ∣
  17.    
  18.    
  19.     θ
  20.    
  21.    
  22.     )
  23.    
  24.   
  25.   
  26.    \log P(X \mid \theta)
  27.   
  28.  
  29. logP(X∣θ)的一个下界称为Evidence Lower Bound (ELBO)，简称
  31.  
  32.   
  33.    
  34.     
  35.      L
  36.     
  37.     
  38.      b
  39.     
  40.    
  41.   
  42.   
  43.    L_b
  44.   
  45.  
  46. Lb​。最大化 
  48.  
  49.   
  50.    
  51.     
  52.      L
  53.     
  54.     
  55.      b
  56.     
  57.    
  58.   
  59.   
  60.    L_b
  61.   
  62.  
  63. Lb​ 就等价于最大化似然函数 
  65.  
  66.   
  67.    
  68.     L
  69.    
  70.   
  71.   
  72.    L
  73.   
  74.  
  75. L。那么接下来具体看 
  77.  
  78.   
  79.    
  80.     
  81.      L
  82.     
  83.     
  84.      b
  85.     
  86.    
  87.   
  88.   
  89.    L_b
  90.   
  91.  
  92. Lb​ :
  94.  
  95.   
  96.    
  97.     
  98.      
  99.       
  100.        
  101.         
  102.          L
  103.         
  104.         
  105.          b
  106.         
  107.        
  108.       
  109.      
  110.      
  111.       
  112.        
  113.         
  114.         
  115.          =
  116.         
  117.         
  118.          
  119.           ∫
  120.          
  121.          
  122.           z
  123.          
  124.         
  125.         
  126.          q
  127.         
  128.         
  129.          (
  130.         
  131.         
  132.          z
  133.         
  134.         
  135.          ∣
  136.         
  137.         
  138.          x
  139.         
  140.         
  141.          )
  142.         
  143.         
  144.          log
  145.         
  146.         
  147.          ⁡
  148.         
  149.         
  150.          
  151.           
  152.            P
  153.           
  154.           
  155.            (
  156.           
  157.           
  158.            z
  159.           
  160.           
  161.            ,
  162.           
  163.           
  164.            x
  165.           
  166.           
  167.            )
  168.           
  169.          
  170.          
  171.           
  172.            q
  173.           
  174.           
  175.            (
  176.           
  177.           
  178.            z
  179.           
  180.           
  181.            ∣
  182.           
  183.           
  184.            x
  185.           
  186.           
  187.            )
  188.           
  189.          
  190.         
  191.         
  192.          
  193.           d
  194.          
  195.          
  196.           z
  197.          
  198.         
  199.        
  200.       
  201.      
  202.     
  203.     
  204.      
  205.       
  206.        
  207.       
  208.      
  209.      
  210.       
  211.        
  212.         
  213.         
  214.          =
  215.         
  216.         
  217.          
  218.           ∫
  219.          
  220.          
  221.           z
  222.          
  223.         
  224.         
  225.          q
  226.         
  227.         
  228.          (
  229.         
  230.         
  231.          z
  232.         
  233.         
  234.          ∣
  235.         
  236.         
  237.          x
  238.         
  239.         
  240.          )
  241.         
  242.         
  243.          log
  244.         
  245.         
  246.          ⁡
  247.         
  248.         
  249.          
  250.           (
  251.          
  252.          
  253.           
  254.            
  255.             P
  256.            
  257.            
  258.             (
  259.            
  260.            
  261.             z
  262.            
  263.            
  264.             )
  265.            
  266.           
  267.           
  268.            
  269.             q
  270.            
  271.            
  272.             (
  273.            
  274.            
  275.             z
  276.            
  277.            
  278.             ∣
  279.            
  280.            
  281.             x
  282.            
  283.            
  284.             )
  285.            
  286.           
  287.          
  288.          
  289.           ⋅
  290.          
  291.          
  292.           P
  293.          
  294.          
  295.           (
  296.          
  297.          
  298.           x
  299.          
  300.          
  301.           ∣
  302.          
  303.          
  304.           z
  305.          
  306.          
  307.           )
  308.          
  309.          
  310.           )
  311.          
  312.         
  313.         
  314.          
  315.           d
  316.          
  317.          
  318.           z
  319.          
  320.         
  321.        
  322.       
  323.      
  324.     
  325.     
  326.      
  327.       
  328.        
  329.       
  330.      
  331.      
  332.       
  333.        
  334.         
  335.         
  336.          =
  337.         
  338.         
  339.          
  340.           ∫
  341.          
  342.          
  343.           z
  344.          
  345.         
  346.         
  347.          q
  348.         
  349.         
  350.          (
  351.         
  352.         
  353.          z
  354.         
  355.         
  356.          ∣
  357.         
  358.         
  359.          x
  360.         
  361.         
  362.          )
  363.         
  364.         
  365.          log
  366.         
  367.         
  368.          ⁡
  369.         
  370.         
  371.          
  372.           
  373.            P
  374.           
  375.           
  376.            (
  377.           
  378.           
  379.            z
  380.           
  381.           
  382.            )
  383.           
  384.          
  385.          
  386.           
  387.            q
  388.           
  389.           
  390.            (
  391.           
  392.           
  393.            z
  394.           
  395.           
  396.            ∣
  397.           
  398.           
  399.            x
  400.           
  401.           
  402.            )
  403.           
  404.          
  405.         
  406.         
  407.          
  408.           d
  409.          
  410.          
  411.           z
  412.          
  413.         
  414.         
  415.          +
  416.         
  417.         
  418.          
  419.           ∫
  420.          
  421.          
  422.           z
  423.          
  424.         
  425.         
  426.          q
  427.         
  428.         
  429.          (
  430.         
  431.         
  432.          z
  433.         
  434.         
  435.          ∣
  436.         
  437.         
  438.          x
  439.         
  440.         
  441.          )
  442.         
  443.         
  444.          log
  445.         
  446.         
  447.          ⁡
  448.         
  449.         
  450.          P
  451.         
  452.         
  453.          (
  454.         
  455.         
  456.          x
  457.         
  458.         
  459.          ∣
  460.         
  461.         
  462.          z
  463.         
  464.         
  465.          )
  466.         
  467.         
  468.          
  469.           d
  470.          
  471.          
  472.           z
  473.          
  474.         
  475.        
  476.       
  477.      
  478.     
  479.     
  480.      
  481.       
  482.        
  483.       
  484.      
  485.      
  486.       
  487.        
  488.         
  489.         
  490.          =
  491.         
  492.         
  493.          −
  494.         
  495.         
  496.          
  497.           D
  498.          
  499.          
  500.           
  501.            K
  502.           
  503.           
  504.            L
  505.           
  506.          
  507.         
  508.         
  509.          (
  510.         
  511.         
  512.          q
  513.         
  514.         
  515.          (
  516.         
  517.         
  518.          z
  519.         
  520.         
  521.          ∣
  522.         
  523.         
  524.          x
  525.         
  526.         
  527.          )
  528.         
  529.         
  530.          ∥
  531.         
  532.         
  533.          P
  534.         
  535.         
  536.          (
  537.         
  538.         
  539.          z
  540.         
  541.         
  542.          )
  543.         
  544.         
  545.          )
  546.         
  547.         
  548.          +
  549.         
  550.         
  551.          
  552.           ∫
  553.          
  554.          
  555.           z
  556.          
  557.         
  558.         
  559.          q
  560.         
  561.         
  562.          (
  563.         
  564.         
  565.          z
  566.         
  567.         
  568.          ∣
  569.         
  570.         
  571.          x
  572.         
  573.         
  574.          )
  575.         
  576.         
  577.          log
  578.         
  579.         
  580.          ⁡
  581.         
  582.         
  583.          P
  584.         
  585.         
  586.          (
  587.         
  588.         
  589.          x
  590.         
  591.         
  592.          ∣
  593.         
  594.         
  595.          z
  596.         
  597.         
  598.          )
  599.         
  600.         
  601.          
  602.           d
  603.          
  604.          
  605.           z
  606.          
  607.         
  608.        
  609.       
  610.      
  611.     
  612.     
  613.      
  614.       
  615.        
  616.       
  617.      
  618.      
  619.       
  620.        
  621.         
  622.         
  623.          =
  624.         
  625.         
  626.          −
  627.         
  628.         
  629.          
  630.           D
  631.          
  632.          
  633.           
  634.            K
  635.           
  636.           
  637.            L
  638.           
  639.          
  640.         
  641.         
  642.          (
  643.         
  644.         
  645.          q
  646.         
  647.         
  648.          (
  649.         
  650.         
  651.          z
  652.         
  653.         
  654.          ∣
  655.         
  656.         
  657.          x
  658.         
  659.         
  660.          )
  661.         
  662.         
  663.          ∥
  664.         
  665.         
  666.          P
  667.         
  668.         
  669.          (
  670.         
  671.         
  672.          z
  673.         
  674.         
  675.          )
  676.         
  677.         
  678.          )
  679.         
  680.         
  681.          +
  682.         
  683.         
  684.          
  685.           E
  686.          
  687.          
  688.           
  689.            q
  690.           
  691.           
  692.            (
  693.           
  694.           
  695.            z
  696.           
  697.           
  698.            ∣
  699.           
  700.           
  701.            x
  702.           
  703.           
  704.            )
  705.           
  706.          
  707.         
  708.         
  709.          [
  710.         
  711.         
  712.          log
  713.         
  714.         
  715.          ⁡
  716.         
  717.         
  718.          P
  719.         
  720.         
  721.          (
  722.         
  723.         
  724.          x
  725.         
  726.         
  727.          ∣
  728.         
  729.         
  730.          z
  731.         
  732.         
  733.          )
  734.         
  735.         
  736.          ]
  737.         
  738.        
  739.       
  740.      
  741.     
  742.    
  743.    
  744.      \begin{aligned} \mathrm{L}_{\mathrm{b}} &=\int_{z} \mathrm{q}(\mathrm{z} \mid \mathrm{x}) \log \frac{\mathrm{P}(\mathrm{z}, \mathrm{x})}{\mathrm{q}(\mathrm{z} \mid \mathrm{x})} \mathrm{dz} \\ &=\int_{\mathrm{z}} \mathrm{q}(\mathrm{z} \mid \mathrm{x}) \log \left(\frac{\mathrm{P}(\mathrm{z})}{\mathrm{q}(\mathrm{z} \mid \mathrm{x})} \cdot \mathrm{P}(\mathrm{x} \mid \mathrm{z})\right) \mathrm{dz} \\ &=\int_{\mathrm{z}} \mathrm{q}(\mathrm{z} \mid \mathrm{x}) \log \frac{\mathrm{P}(\mathrm{z})}{\mathrm{q}(\mathrm{z} \mid \mathrm{x})} \mathrm{dz}+\int_{\mathrm{z}} \mathrm{q}(\mathrm{z} \mid \mathrm{x}) \log \mathrm{P}(\mathrm{x} \mid \mathrm{z}) \mathrm{dz} \\ &=-\mathrm{D}_{\mathrm{KL}}(\mathrm{q}(\mathrm{z} \mid \mathrm{x}) \| \mathrm{P}(\mathrm{z}))+\int_{\mathrm{z}} \mathrm{q}(\mathrm{z} \mid \mathrm{x}) \log \mathrm{P}(\mathrm{x} \mid \mathrm{z}) \mathrm{dz} \\ &=-\mathrm{D}_{\mathrm{KL}}(\mathrm{q}(\mathrm{z} \mid \mathrm{x}) \| \mathrm{P}(\mathrm{z}))+\mathrm{E}_{\mathrm{q}(\mathrm{z} \mid \mathrm{x})}[\log \mathrm{P}(\mathrm{x} \mid \mathrm{z})] \end{aligned} 
  745.    
  746.   
  747.  Lb​​=∫z​q(z∣x)logq(z∣x)P(z,x)​dz=∫z​q(z∣x)log(q(z∣x)P(z)​⋅P(x∣z))dz=∫z​q(z∣x)logq(z∣x)P(z)​dz+∫z​q(z∣x)logP(x∣z)dz=−DKL​(q(z∣x)∥P(z))+∫z​q(z∣x)logP(x∣z)dz=−DKL​(q(z∣x)∥P(z))+Eq(z∣x)​[logP(x∣z)]​

推导到这一步就会发现这种形式的公式是看VAE相关论文经常给出的形式。同时到了这一步也可以看出，最大化似然函数

  1.      L
  2.     
  3.    
  4.    
  5.     L
  6.    
  7.   
  8.  L就是最大化
  9.  
  10.   
  11.    
  12.     
  13.      
  14.       L
  15.      
  16.      
  17.       b
  18.      
  19.     
  20.    
  21.    
  22.     L_b
  23.    
  24.   
  25.  Lb​，也即最小化
  26.  
  27.   
  28.    
  29.     
  30.      −
  31.     
  32.     
  33.      
  34.       D
  35.      
  36.      
  37.       
  38.        K
  39.       
  40.       
  41.        L
  42.       
  43.      
  44.     
  45.     
  46.      (
  47.     
  48.     
  49.      q
  50.     
  51.     
  52.      (
  53.     
  54.     
  55.      z
  56.     
  57.     
  58.      ∣
  59.     
  60.     
  61.      x
  62.     
  63.     
  64.      )
  65.     
  66.     
  67.      ∥
  68.     
  69.     
  70.      P
  71.     
  72.     
  73.      (
  74.     
  75.     
  76.      z
  77.     
  78.     
  79.      )
  80.     
  81.     
  82.      )
  83.     
  84.    
  85.    
  86.     -\mathrm{D}_{\mathrm{KL}}(\mathrm{q}(\mathrm{z} \mid \mathrm{x}) \| \mathrm{P}(\mathrm{z}))
  87.    
  88.   
  89.  −DKL​(q(z∣x)∥P(z))和最大化
  90.  
  91.   
  92.    
  93.     
  94.      
  95.       E
  96.      
  97.      
  98.       
  99.        q
  100.       
  101.       
  102.        (
  103.       
  104.       
  105.        z
  106.       
  107.       
  108.        ∣
  109.       
  110.       
  111.        x
  112.       
  113.       
  114.        )
  115.       
  116.      
  117.     
  118.     
  119.      [
  120.     
  121.     
  122.      log
  123.     
  124.     
  125.      ⁡
  126.     
  127.     
  128.      P
  129.     
  130.     
  131.      (
  132.     
  133.     
  134.      x
  135.     
  136.     
  137.      ∣
  138.     
  139.     
  140.      z
  141.     
  142.     
  143.      )
  144.     
  145.     
  146.      ]
  147.     
  148.    
  149.    
  150.     \mathrm{E}_{\mathrm{q}(\mathrm{z} \mid \mathrm{x})}[\log \mathrm{P}(\mathrm{x} \mid \mathrm{z})]
  151.    
  152.   
  153.  Eq(z∣x)​[logP(x∣z)]。
  • 最小化 − D K L ( q ( z ∣ x ) ∥ P ( z ) ) -\mathrm{D}{\mathrm{KL}}(\mathrm{q}(\mathrm{z} \mid \mathrm{x}) | \mathrm{P}(\mathrm{z})) −DKL​(q(z∣x)∥P(z))，使后验分布近似值 q ( z ∣ x ) q(z|x) q(z∣x)接近先验分布 P ( z ) P(z) P(z)。也就是说通过 q ( z ∣ x ) q(z|x) q(z∣x)生成的编码 z z z不能太离谱，要与某个分布相当才行，这里是对中间编码生成起了限制作用。当 q ( z ∣ x ) q(z|x) q(z∣x)和 P ( z ) P(z) P(z)都是高斯分布时，推导式有(参考文献【4】中Appendix B)： D K L ( q ( z ∣ x ) ∥ P ( z ) ) = − 1 2 ∑ j J ( 1 + log ⁡ ( σ j ) 2 − ( μ j ) 2 − ( σ j ) 2 ) \mathrm{D}{\mathrm{KL}}(\mathrm{q}(\mathrm{z} \mid \mathrm{x}) | \mathrm{P}(\mathrm{z}))=-\frac{1}{2} \sum_{\mathrm{j}}^{\mathrm{J}}\left(1+\log \left(\sigma_{\mathrm{j}}\right)^{2}-\left(\mu_{\mathrm{j}}\right)^{2}-\left(\sigma_{\mathrm{j}}\right)^{2}\right) DKL​(q(z∣x)∥P(z))=−21​j∑J​(1+log(σj​)2−(μj​)2−(σj​)2) 其中 J J J表示向量 z z z的总维度数， σ j \sigma_j σj​和 μ j \mu_j μj​表示 q ( z ∣ x ) q(z|x) q(z∣x)输出的参数向量 σ \sigma σ和 μ \mu μ的第 j j j个元素。(这里的 σ \sigma σ和 μ \mu μ等于前文中 μ ′ ( x ) \mu '(x) μ′(x)和 σ ′ ( x ) \sigma '(x) σ′(x).
  • 最大化 E q ( z ∣ x ) [ log ⁡ P ( x ∣ z ) ] \mathrm{E}_{\mathrm{q}(\mathrm{z} \mid \mathrm{x})}[\log \mathrm{P}(\mathrm{x} \mid \mathrm{z})] Eq(z∣x)​[logP(x∣z)],即在给定编码器输出 q ( z ∣ x ) q(z|x) q(z∣x)下解码器输出 P ( x ∣ z ) P(x|z) P(x∣z)越大越好。这部分也就相当于最小化Reconstruction Error(重建损失)

  由此我们可以得出VAE的原理图：
在这里插入图片描述
通常忽略掉decoder输出的

  1.     σ
  2.    
  3.    
  4.     (
  5.    
  6.    
  7.     x
  8.    
  9.    
  10.     )
  11.    
  12.   
  13.   
  14.    \sigma(x)
  15.   
  16.  
  17. σ(x)一项，仅要求
  19.  
  20.   
  21.    
  22.     μ
  23.    
  24.    
  25.     (
  26.    
  27.    
  28.     x
  29.    
  30.    
  31.     )
  32.    
  33.   
  34.   
  35.    \mu(x)
  36.   
  37.  
  38. μ(x)与
  40.  
  41.   
  42.    
  43.     x
  44.    
  45.   
  46.   
  47.    x
  48.   
  49.  
  50. x越接近越好。

对某一输入数据

  1.     x
  2.    
  3.   
  4.   
  5.    x
  6.   
  7.  
  8. x来说，VAE的损失函数即（
  10.  
  11.   
  12.    
  13.     
  14.      L
  15.     
  16.     
  17.      b
  18.     
  19.    
  20.   
  21.   
  22.    L_b
  23.   
  24.  
  25. Lb​取负号）:
  27.  
  28.   
  29.    
  30.     
  31.      min
  32.     
  33.     
  34.      ⁡
  35.     
  36.     
  37.      
  38.       
  39.        Loss
  40.       
  41.       
  42.        ⁡
  43.       
  44.      
  45.      
  46.       
  47.        V
  48.       
  49.       
  50.        
  51.         A
  52.        
  53.        
  54.         E
  55.        
  56.       
  57.      
  58.     
  59.     
  60.      =
  61.     
  62.     
  63.      
  64.       D
  65.      
  66.      
  67.       
  68.        K
  69.       
  70.       
  71.        L
  72.       
  73.      
  74.     
  75.     
  76.      (
  77.     
  78.     
  79.      q
  80.     
  81.     
  82.      (
  83.     
  84.     
  85.      z
  86.     
  87.     
  88.      ∣
  89.     
  90.     
  91.      x
  92.     
  93.     
  94.      )
  95.     
  96.     
  97.      ∥
  98.     
  99.     
  100.      P
  101.     
  102.     
  103.      (
  104.     
  105.     
  106.      z
  107.     
  108.     
  109.      )
  110.     
  111.     
  112.      )
  113.     
  114.     
  115.      −
  116.     
  117.     
  118.      
  119.       E
  120.      
  121.      
  122.       
  123.        q
  124.       
  125.       
  126.        (
  127.       
  128.       
  129.        z
  130.       
  131.       
  132.        ∣
  133.       
  134.       
  135.        x
  136.       
  137.       
  138.        )
  139.       
  140.      
  141.     
  142.     
  143.      [
  144.     
  145.     
  146.      log
  147.     
  148.     
  149.      ⁡
  150.     
  151.     
  152.      P
  153.     
  154.     
  155.      (
  156.     
  157.     
  158.      x
  159.     
  160.     
  161.      ∣
  162.     
  163.     
  164.      z
  165.     
  166.     
  167.      )
  168.     
  169.     
  170.      ]
  171.     
  172.    
  173.    
  174.     \min \operatorname{Loss}_{\mathrm{V} \mathrm{AE}}=\mathrm{D}_{\mathrm{KL}}(\mathrm{q}(\mathrm{z} \mid \mathrm{x}) \| \mathrm{P}(\mathrm{z}))-\mathrm{E}_{\mathrm{q}(\mathrm{z} \mid \mathrm{x})}[\log \mathrm{P}(\mathrm{x} \mid \mathrm{z})]
  175.    
  176.   
  177.  minLossVAE​=DKL​(q(z∣x)∥P(z))−Eq(z∣x)​[logP(x∣z)]

2.2 重参化技巧

  在前面VAE的介绍中样本经过Encoder生成了隐变量的一个分布 

  1.     z
  2.    
  3.    
  4.     ∼
  5.    
  6.    
  7.     q
  8.    
  9.    
  10.     (
  11.    
  12.    
  13.     z
  14.    
  15.    
  16.     ∣
  17.    
  18.    
  19.     x
  20.    
  21.    
  22.     )
  23.    
  24.   
  25.   
  26.    \mathrm{z} \sim \mathrm{q}(\mathrm{z} \mid \mathrm{x})
  27.   
  28.  
  29. z∼q(z∣x)，然后从这个分布中采样
  31.  
  32.   
  33.    
  34.     z
  35.    
  36.   
  37.   
  38.    z
  39.   
  40.  
  41. z进行Decoder，注意“采样”这个操作是不可微的，因此不能做反向传播，所以用reparameterization trick来解决这个问题，示意图如下：

在这里插入图片描述
将上图左图原来的采样操作通过reparameterization trick变换为右图的形式。

我们引入一个外部向量

  1.     ϵ
  2.    
  3.    
  4.     ∼
  5.    
  6.    
  7.     N
  8.    
  9.    
  10.     (
  11.    
  12.    
  13.     0
  14.    
  15.    
  16.     ,
  17.    
  18.    
  19.     I
  20.    
  21.    
  22.     )
  23.    
  24.   
  25.   
  26.    ϵ∼N(0,I)
  27.   
  28.  
  29. ϵ∼N(0,I)，通过
  31.  
  32.   
  33.    
  34.     z
  35.    
  36.    
  37.     =
  38.    
  39.    
  40.     μ
  41.    
  42.    
  43.     +
  44.    
  45.    
  46.     σ
  47.    
  48.    
  49.     ⊙
  50.    
  51.    
  52.     ϵ
  53.    
  54.   
  55.   
  56.    z = μ + σ ⊙ ϵ
  57.   
  58.  
  59. z=μ+σ⊙ϵ计算编码
  61.  
  62.   
  63.    
  64.     z
  65.    
  66.   
  67.   
  68.    z
  69.   
  70.  
  71. z （
  73.  
  74.   
  75.    
  76.     ⊙
  77.    
  78.   
  79.   
  80.    \odot
  81.   
  82.  
  83. ⊙表示element-wise乘法，
  85.  
  86.   
  87.    
  88.     ϵ
  89.    
  90.   
  91.   
  92.    \epsilon
  93.   
  94.  
  95. ϵ的每一维都服从标准高斯分布即
  97.  
  98.   
  99.    
  100.     
  101.      ϵ
  102.     
  103.     
  104.      i
  105.     
  106.    
  107.    
  108.     ∼
  109.    
  110.   
  111.   
  112.    \epsilon_i \sim
  113.   
  114.  
  115. ϵi​∼ N(0,1)，由此loss的梯度可以通过
  117.  
  118.   
  119.    
  120.     μ
  121.    
  122.   
  123.   
  124.    \mu
  125.   
  126.  
  127. μ和
  129.  
  130.   
  131.    
  132.     σ
  133.    
  134.   
  135.   
  136.    \sigma
  137.   
  138.  
  139. σ分支传递到encoder model处（
  141.  
  142.   
  143.    
  144.     ϵ
  145.    
  146.   
  147.   
  148.    \epsilon
  149.   
  150.  
  151. ϵ并不需要梯度信息来更新）。

这里利用了这样一个事实[3]：考虑单变量高斯分布，假设

  1.      z
  2.     
  3.     
  4.      ∼
  5.     
  6.     
  7.      p
  8.     
  9.     
  10.      (
  11.     
  12.     
  13.      z
  14.     
  15.     
  16.      ∣
  17.     
  18.     
  19.      x
  20.     
  21.     
  22.      )
  23.     
  24.     
  25.      =
  26.     
  27.     
  28.      N
  29.     
  30.     
  31.      (
  32.     
  33.     
  34.      μ
  35.     
  36.     
  37.      ,
  38.     
  39.     
  40.      σ
  41.     
  42.     
  43.      2
  44.     
  45.     
  46.      )
  47.     
  48.    
  49.    
  50.     z∼p(z∣x)=N(μ,σ 2 )
  51.    
  52.   
  53.  z∼p(z∣x)=N(μ,σ2)，从中采样一个
  54.  
  55.   
  56.    
  57.     
  58.      z
  59.     
  60.    
  61.    
  62.     z
  63.    
  64.   
  65.  z，就相当于先从
  66.  
  67.   
  68.    
  69.     
  70.      N
  71.     
  72.     
  73.      (
  74.     
  75.     
  76.      0
  77.     
  78.     
  79.      ,
  80.     
  81.     
  82.      1
  83.     
  84.     
  85.      )
  86.     
  87.    
  88.    
  89.     N(0,1)
  90.    
  91.   
  92.  N(0,1)中采样一个
  93.  
  94.   
  95.    
  96.     
  97.      ϵ
  98.     
  99.    
  100.    
  101.     \epsilon
  102.    
  103.   
  104.  ϵ，再令
  105.  
  106.   
  107.    
  108.     
  109.      z
  110.     
  111.     
  112.      =
  113.     
  114.     
  115.      μ
  116.     
  117.     
  118.      +
  119.     
  120.     
  121.      σ
  122.     
  123.     
  124.      ⊙
  125.     
  126.     
  127.      ϵ
  128.     
  129.    
  130.    
  131.     z=\mu + \sigma \odot \epsilon
  132.    
  133.   
  134.  z=μ+σ⊙ϵ

最终的VAE的形式如下：
在这里插入图片描述

3 QA

3.1 生成体现在什么地方

3.2 AE和VAE的区别

  将把

  1.     x
  2.    
  3.   
  4.   
  5.    x
  6.   
  7.  
  8. x表示为输入数据，把
  10.  
  11.   
  12.    
  13.     z
  14.    
  15.   
  16.   
  17.    z
  18.   
  19.  
  20. z表示为潜在变量(编码表示)。在普通的自编码器中，编码器将输入
  22.  
  23.   
  24.    
  25.     x
  26.    
  27.   
  28.   
  29.    x
  30.   
  31.  
  32. x转换为潜在变量
  34.  
  35.   
  36.    
  37.     z
  38.    
  39.   
  40.   
  41.    z
  42.   
  43.  
  44. z，而解码器将
  46.  
  47.   
  48.    
  49.     z
  50.    
  51.   
  52.   
  53.    z
  54.   
  55.  
  56. z转换为重构的输出。而在可变自编码器中，编码器将
  58.  
  59.   
  60.    
  61.     x
  62.    
  63.   
  64.   
  65.    x
  66.   
  67.  
  68. x转换为潜在变量
  70.  
  71.   
  72.    
  73.     p
  74.    
  75.    
  76.     (
  77.    
  78.    
  79.     z
  80.    
  81.    
  82.     ∣
  83.    
  84.    
  85.     x
  86.    
  87.    
  88.     )
  89.    
  90.   
  91.   
  92.    p(z|x)
  93.   
  94.  
  95. p(z∣x)的概率分布，然后对潜在变量
  97.  
  98.   
  99.    
  100.     z
  101.    
  102.   
  103.   
  104.    z
  105.   
  106.  
  107. z随机采样，再由解码器解码成重构输出。自编码器(确定性)和可变自编码器(概率性)的区别。

在这里插入图片描述

4 另一种角度理解VAE

5 总结

  其实那么多数学公式推导，我自己都有点晕，但是本质上就是用自编码器去产生很多高斯分布，去拟合样本的分布，然后某个x对应的高斯分布里采样z，然后复原成x，跟GAN区别就是这个是完全去模仿分布，只能生成数据中已有的图片，很难创造新的图片，最多也就是插值图片了。

  也可以理解成图片的特征向量z采样于某种高斯分布，我们要把他给找出来，我们希望这个分布贴近标准正太分布，然后通过编码器生成对应均值和方差，然后采样z，希望z又能复原图片，这样就找到了这个z背后的高斯分布。这个高斯分布的均值就是最大概率生成特征z，可以复原图片，当然均值旁边采样出来的z可能可以复原的不是很像，但是也是在数据集里的，如果有2个图片的特征分布都在这个点有所重合的话，可能就是2个图片中间的插值图片了。

不足

VAE在产生新数据的时候是基于已有数据来做的，或者说是对已有数据进行某种组合而得到新数据的，它并不能生成或创造出新数据。另一方面是VAE产生的图像比较模糊。
而大名鼎鼎的GAN利用对抗学习的方式，既能生成新数据，也能产生较清晰的图像。后续的更是出现了很多种变形。

6 参考文献

[1]【深度学习】VAE(Variational Auto-Encoder)原理
[2]【干货】深入理解变分自编码器
[3]变分自编码器VAE：原来是这么一回事 | 附开源代码
[4]Auto-encoding variational bayes
[5]【机器学习】白板推导系列(三十二) ～ 变分自编码器(VAE)
[6]PyTorch实现VAE
[7]使用(VAE)生成建模,理解可变自动编码器背后的数学原理

标签： 深度学习 人工智能 1024程序员节
本文转载自: https://blog.csdn.net/zfhsfdhdfajhsr/article/details/127218635
版权归原作者 一穷二白到年薪百万 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【深度学习】生成模型：VAE(自编码器)模型解析”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？