0
0

GAN网络

目录

GAN

生成式对抗网络（GAN, Generative Adversarial Networks）是一种深度学习模型。主要包括两部分：生成模型和判别模型。也就是对应神经网络的生成器与判别器：

  1. 生成器G(Generator)：通过生成器G生成数据。
  2. 判别器D(Discriminator)：判断这张图像是真实的还是机器生成的，目的是判别数据是否是生成器做的“假数据”

生成器与判别器互相对抗，不断调整参数。最终的目的是使判别网络无法判断生成网络的输出结果是否真实。

生成器G是一个生成图片的网络，它接收一个随机的噪声

  1.      z
  2.     
  3.    
  4.    
  5.     z
  6.    
  7.   
  8.  z，通过这个噪声生成图片，生成的图片记做
  9.  
  10.   
  11.    
  12.     
  13.      G
  14.     
  15.     
  16.      (
  17.     
  18.     
  19.      z
  20.     
  21.     
  22.      )
  23.     
  24.    
  25.    
  26.     G(z)
  27.    
  28.   
  29.  G(z)。

判别器D判别一张图片是不是“真实的”。它的输入是 

  1.      x
  2.     
  3.    
  4.    
  5.     x
  6.    
  7.   
  8.  x ，
  9.  
  10.   
  11.    
  12.     
  13.      x
  14.     
  15.    
  16.    
  17.     x
  18.    
  19.   
  20.  x代表一张图片（其中，
  21.  
  22.   
  23.    
  24.     
  25.      x
  26.     
  27.    
  28.    
  29.     x
  30.    
  31.   
  32.  x包含生成图片和真实图片，对于生成图片有 
  33.  
  34.   
  35.    
  36.     
  37.      x
  38.     
  39.     
  40.      =
  41.     
  42.     
  43.      G
  44.     
  45.     
  46.      (
  47.     
  48.     
  49.      z
  50.     
  51.     
  52.      )
  53.     
  54.    
  55.    
  56.     x=G(z)
  57.    
  58.   
  59.  x=G(z)），输出
  60.  
  61.   
  62.    
  63.     
  64.      D
  65.     
  66.     
  67.      (
  68.     
  69.     
  70.      x
  71.     
  72.     
  73.      )
  74.     
  75.    
  76.    
  77.     D(x)
  78.    
  79.   
  80.  D(x)代表
  81.  
  82.   
  83.    
  84.     
  85.      x
  86.     
  87.    
  88.    
  89.     x
  90.    
  91.   
  92.  x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表图片0%是真的（或者说100%是假的）

其中网络结构如下所示：

在这里插入图片描述

其中，真实数据分布中的数据与生成数据可以认为是相同形状的。

生成网络G（Generative）

生成网络从隐空间（latent space）中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。

在这里插入图片描述

对抗网络D（Discriminative）

对抗网络也可称判别网络，判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。

在这里插入图片描述

两分布之间差异性评价

真实数据分布中的数据 

  1.     x
  2.    
  3.   
  4.   
  5.    x
  6.   
  7.  
  8. x 服从分布 
  10.  
  11.   
  12.    
  13.     x
  14.    
  15.    
  16.     ∼
  17.    
  18.    
  19.     
  20.      P
  21.     
  22.     
  23.      
  24.       d
  25.      
  26.      
  27.       a
  28.      
  29.      
  30.       t
  31.      
  32.      
  33.       a
  34.      
  35.     
  36.    
  37.    
  38.     (
  39.    
  40.    
  41.     x
  42.    
  43.    
  44.     )
  45.    
  46.   
  47.   
  48.    x \sim P_{data} (x)
  49.   
  50.  
  51. x∼Pdata​(x)，生成数据分布中的数据 
  53.  
  54.   
  55.    
  56.     x
  57.    
  58.   
  59.   
  60.    x
  61.   
  62.  
  63. x 服从分布 
  65.  
  66.   
  67.    
  68.     x
  69.    
  70.    
  71.     ∼
  72.    
  73.    
  74.     
  75.      P
  76.     
  77.     
  78.      G
  79.     
  80.    
  81.    
  82.     (
  83.    
  84.    
  85.     x
  86.    
  87.    
  88.     ;
  89.    
  90.    
  91.     θ
  92.    
  93.    
  94.     )
  95.    
  96.   
  97.   
  98.    x \sim P_{G} (x;\theta)
  99.   
  100.  
  101. x∼PG​(x;θ)

在这里插入图片描述

那么衡量两个分布之间的差异性指标有：KL散度，JS散度，交叉熵和Wasserstein距离。

KL散度

离散概率分布的KL散度计算公式:

  1.      K
  2.     
  3.     
  4.      L
  5.     
  6.     
  7.      (
  8.     
  9.     
  10.      p
  11.     
  12.     
  13.      ∥
  14.     
  15.     
  16.      q
  17.     
  18.     
  19.      )
  20.     
  21.     
  22.      =
  23.     
  24.     
  25.      ∑
  26.     
  27.     
  28.      p
  29.     
  30.     
  31.      (
  32.     
  33.     
  34.      x
  35.     
  36.     
  37.      )
  38.     
  39.     
  40.      log
  41.     
  42.     
  43.      ⁡
  44.     
  45.     
  46.      
  47.       
  48.        p
  49.       
  50.       
  51.        (
  52.       
  53.       
  54.        x
  55.       
  56.       
  57.        )
  58.       
  59.      
  60.      
  61.       
  62.        q
  63.       
  64.       
  65.        (
  66.       
  67.       
  68.        x
  69.       
  70.       
  71.        )
  72.       
  73.      
  74.     
  75.    
  76.    
  77.      K L(p \| q)=\sum p(x) \log \frac{p(x)}{q(x)} 
  78.    
  79.   
  80.  KL(p∥q)=∑p(x)logq(x)p(x)​

连续概率分布的KL散度计算公式:

  1.      K
  2.     
  3.     
  4.      L
  5.     
  6.     
  7.      (
  8.     
  9.     
  10.      p
  11.     
  12.     
  13.      ∥
  14.     
  15.     
  16.      q
  17.     
  18.     
  19.      )
  20.     
  21.     
  22.      =
  23.     
  24.     
  25.      ∫
  26.     
  27.     
  28.      p
  29.     
  30.     
  31.      (
  32.     
  33.     
  34.      x
  35.     
  36.     
  37.      )
  38.     
  39.     
  40.      log
  41.     
  42.     
  43.      ⁡
  44.     
  45.     
  46.      
  47.       
  48.        p
  49.       
  50.       
  51.        (
  52.       
  53.       
  54.        x
  55.       
  56.       
  57.        )
  58.       
  59.      
  60.      
  61.       
  62.        q
  63.       
  64.       
  65.        (
  66.       
  67.       
  68.        x
  69.       
  70.       
  71.        )
  72.       
  73.      
  74.     
  75.     
  76.      d
  77.     
  78.     
  79.      x
  80.     
  81.    
  82.    
  83.      K L(p \| q)=\int p(x) \log \frac{p(x)}{q(x)} d x 
  84.    
  85.   
  86.  KL(p∥q)=∫p(x)logq(x)p(x)​dx

JS散度

  1.      J
  2.     
  3.     
  4.      S
  5.     
  6.     
  7.      (
  8.     
  9.     
  10.      p
  11.     
  12.     
  13.      ∥
  14.     
  15.     
  16.      q
  17.     
  18.     
  19.      )
  20.     
  21.     
  22.      =
  23.     
  24.     
  25.      
  26.       1
  27.      
  28.      
  29.       2
  30.      
  31.     
  32.     
  33.      K
  34.     
  35.     
  36.      L
  37.     
  38.     
  39.      
  40.       (
  41.      
  42.      
  43.       p
  44.      
  45.      
  46.       ∥
  47.      
  48.      
  49.       
  50.        
  51.         p
  52.        
  53.        
  54.         +
  55.        
  56.        
  57.         q
  58.        
  59.       
  60.       
  61.        2
  62.       
  63.      
  64.      
  65.       )
  66.      
  67.     
  68.     
  69.      +
  70.     
  71.     
  72.      
  73.       1
  74.      
  75.      
  76.       2
  77.      
  78.     
  79.     
  80.      K
  81.     
  82.     
  83.      L
  84.     
  85.     
  86.      
  87.       (
  88.      
  89.      
  90.       q
  91.      
  92.      
  93.       ∥
  94.      
  95.      
  96.       
  97.        
  98.         p
  99.        
  100.        
  101.         +
  102.        
  103.        
  104.         q
  105.        
  106.       
  107.       
  108.        2
  109.       
  110.      
  111.      
  112.       )
  113.      
  114.     
  115.    
  116.    
  117.      J S(p \| q)=\frac{1}{2} K L\left(p \| \frac{p+q}{2}\right)+\frac{1}{2} K L\left(q \| \frac{p+q}{2}\right) 
  118.    
  119.   
  120.  JS(p∥q)=21​KL(p∥2p+q​)+21​KL(q∥2p+q​)

损失函数

以分布的角度来看GAN网络结构，然后考虑其损失函数。

在这里插入图片描述

对于生成网络G，其输入的

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z （
  10.  
  11.   
  12.    
  13.     z
  14.    
  15.    
  16.     ∼
  17.    
  18.    
  19.     N
  20.    
  21.    
  22.     (
  23.    
  24.    
  25.     0
  26.    
  27.    
  28.     ,
  29.    
  30.    
  31.     I
  32.    
  33.    
  34.     )
  35.    
  36.   
  37.   
  38.    \mathbf{z} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})
  39.   
  40.  
  41. z∼N(0,I)，表示 
  43.  
  44.   
  45.    
  46.     z
  47.    
  48.   
  49.   
  50.    z
  51.   
  52.  
  53. z 服从正态分布的数据），通过训练出来的参数 
  55.  
  56.   
  57.    
  58.     θ
  59.    
  60.   
  61.   
  62.    \theta
  63.   
  64.  
  65. θ 的生成网络生成的图片为 
  67.  
  68.   
  69.    
  70.     G
  71.    
  72.    
  73.     (
  74.    
  75.    
  76.     z
  77.    
  78.    
  79.     ,
  80.    
  81.    
  82.     θ
  83.    
  84.    
  85.     )
  86.    
  87.   
  88.   
  89.    G(\mathbf{z},\theta)
  90.   
  91.  
  92. G(z,θ) 。

对于判别网络，可以认为是二分类问题，一类是生成网络的输出，即 

  1.      x
  2.     
  3.     
  4.      
  5.       g
  6.      
  7.      
  8.       e
  9.      
  10.      
  11.       n
  12.      
  13.      
  14.       e
  15.      
  16.      
  17.       r
  18.      
  19.      
  20.       a
  21.      
  22.      
  23.       t
  24.      
  25.      
  26.       i
  27.      
  28.      
  29.       v
  30.      
  31.      
  32.       e
  33.      
  34.     
  35.    
  36.    
  37.     =
  38.    
  39.    
  40.     G
  41.    
  42.    
  43.     (
  44.    
  45.    
  46.     z
  47.    
  48.    
  49.     ,
  50.    
  51.    
  52.     θ
  53.    
  54.    
  55.     )
  56.    
  57.   
  58.   
  59.    x_{generative} = G(\mathbf{z},\theta)
  60.   
  61.  
  62. xgenerative​=G(z,θ)；另一类是真实数据
  64.  
  65.   
  66.    
  67.     
  68.      x
  69.     
  70.     
  71.      
  72.       r
  73.      
  74.      
  75.       e
  76.      
  77.      
  78.       a
  79.      
  80.      
  81.       l
  82.      
  83.     
  84.    
  85.   
  86.   
  87.    x_{real}
  88.   
  89.  
  90. xreal​，（其中，
  92.  
  93.   
  94.    
  95.     
  96.      x
  97.     
  98.     
  99.      
  100.       r
  101.      
  102.      
  103.       e
  104.      
  105.      
  106.       a
  107.      
  108.      
  109.       l
  110.      
  111.     
  112.    
  113.    
  114.     ∼
  115.    
  116.    
  117.     
  118.      D
  119.     
  120.     
  121.      
  122.       r
  123.      
  124.      
  125.       e
  126.      
  127.      
  128.       a
  129.      
  130.      
  131.       l
  132.      
  133.     
  134.    
  135.   
  136.   
  137.    x_{real} \sim D_{real}
  138.   
  139.  
  140. xreal​∼Dreal​ ，表示 
  142.  
  143.   
  144.    
  145.     
  146.      x
  147.     
  148.     
  149.      
  150.       r
  151.      
  152.      
  153.       e
  154.      
  155.      
  156.       a
  157.      
  158.      
  159.       l
  160.      
  161.     
  162.    
  163.   
  164.   
  165.    x_{real}
  166.   
  167.  
  168. xreal​ 服从一种真实的分布distribution）。将 
  170.  
  171.   
  172.    
  173.     x
  174.    
  175.   
  176.   
  177.    x
  178.   
  179.  
  180. x （其中，
  182.  
  183.   
  184.    
  185.     x
  186.    
  187.    
  188.     =
  189.    
  190.    
  191.     
  192.      x
  193.     
  194.     
  195.      
  196.       g
  197.      
  198.      
  199.       e
  200.      
  201.      
  202.       n
  203.      
  204.      
  205.       e
  206.      
  207.      
  208.       r
  209.      
  210.      
  211.       a
  212.      
  213.      
  214.       t
  215.      
  216.      
  217.       i
  218.      
  219.      
  220.       v
  221.      
  222.      
  223.       e
  224.      
  225.     
  226.    
  227.    
  228.     ∪
  229.    
  230.    
  231.     
  232.      x
  233.     
  234.     
  235.      
  236.       r
  237.      
  238.      
  239.       e
  240.      
  241.      
  242.       a
  243.      
  244.      
  245.       l
  246.      
  247.     
  248.    
  249.   
  250.   
  251.    x = x_{generative} \cup x_{real}
  252.   
  253.  
  254. x=xgenerative​∪xreal​） 数据输入到判别网络中，输出结果分别为：
    1.                                D                         (                                   x                                       r                               e                               a                               l                                            ,                         ϕ                         )                              D(\mathbf{x_{real}}, \phi)                  D(xreal​,ϕ)
    1.                                D                         (                                   x                                       g                               e                               n                               e                               r                               a                               t                               i                               v                               e                                            ,                         ϕ                         )                         =                         D                         (                         G                         (                         z                         ,                         θ                         )                         ,                         ϕ                         )                              D(\mathbf{x_{generative}}, \phi) = D(G(\mathbf{z},\theta), \phi)                  D(xgenerative​,ϕ)=D(G(z,θ),ϕ)

分别从生成网络和判别网络的角度来看：

  1. 对于生成网络的标准就是：我希望我生成的图片越接近真实越好，那么也就是使 D ( x g e n e r a t i v e , ϕ ) = D ( G ( z , θ ) , ϕ ) D(\mathbf{x_{generative}}, \phi) = D(G(\mathbf{z},\theta), \phi) D(xgenerative​,ϕ)=D(G(z,θ),ϕ) 越接近1越好。也就是训练生成网络中的参数 θ \theta θ 满足： max ⁡ θ ( E z ∼ p ( z ) [ log ⁡ D ( G ( z ; θ ) ; ϕ ) ] ) \max {\theta}\left(\mathbb{E}{z \sim p(z)}[\log D(G(\boldsymbol{z} ; \theta) ; \phi)]\right) θmax​(Ez∼p(z)​[logD(G(z;θ);ϕ)])
  2. 对于判别网络的标准就是：我能够很好的区分哪些是真的，哪些是假的。也就是说能够很好的将真的和假的区分开来。也就是希望真实数据的输出 D ( x r e a l , ϕ ) D(\mathbf{x_{real}}, \phi) D(xreal​,ϕ) 越趋近于1，而生成数据的输出 D ( x g e n e r a t i v e , ϕ ) = D ( G ( z , θ ) , ϕ ) D(\mathbf{x_{generative}}, \phi) = D(G(\mathbf{z},\theta), \phi) D(xgenerative​,ϕ)=D(G(z,θ),ϕ) 越趋近于0。> 将其看成二分类问题，二分类问题的损失函数可以使用交叉熵损失函数来表示，对于二分类，只有正样本（label=1）与负样本（label=0）。并且两者概率之和为1。对于一个输入> > > > > x> > > > x> > > x，经过模型输出为> > > > > p> > > (> > > x> > > )> > > > p(x)> > > p(x)。y是真实的标签。于是单个样本的损失函数就是：> > > > > > L> > > O> > > S> > > S> > > => > > −> > > y> > > ∗> > > l> > > o> > > g> > > (> > > p> > > (> > > x> > > )> > > )> > > +> > > (> > > 1> > > −> > > y> > > )> > > l> > > o> > > g> > > (> > > 1> > > −> > > p> > > (> > > x> > > )> > > )> > > > LOSS = -y * log(p(x)) + (1-y)log(1-p(x)) > > > LOSS=−y∗log(p(x))+(1−y)log(1−p(x))> 如果是计算 N 个样本的平均损失函数，只要将 N 个 Loss 叠加起来再除以N就行：> > > > > > L> > > O> > > S> > > S> > > => > > > 1> > > N> > > > > ∑> > > > i> > > => > > 1> > > > N> > > > > y> > > > (> > > i> > > )> > > > > log> > > ⁡> > > (> > > > > p> > > (> > > x> > > )> > > > > (> > > i> > > )> > > > > )> > > +> > > > (> > > 1> > > −> > > > y> > > > (> > > i> > > )> > > > > )> > > > log> > > ⁡> > > > (> > > 1> > > −> > > > > p> > > (> > > x> > > )> > > > > (> > > i> > > )> > > > > )> > > > > LOSS=\frac{1}{N} \sum_{i=1}^{N} y^{(i)} \log ({p(x)}^{(i)})+\left(1-y^{(i)}\right) \log \left(1-{p(x)}^{(i)}\right) > > > LOSS=N1​i=1∑N​y(i)log(p(x)(i))+(1−y(i))log(1−p(x)(i))对于 x ∼ p d a t a ( x ) x \sim p_{data}(x) x∼pdata​(x) 的输出 D ( x ; ϕ ) D(x; \phi) D(x;ϕ)是真实的，也就是标签为1，那么其单个样本损失函数就是： L O S S = − 1 ∗ log ⁡ D ( x ; ϕ ) + ( 1 − 1 ) ( 1 − log ⁡ D ( x ; ϕ ) ) = − log ⁡ D ( x ; ϕ ) LOSS = -1 * \log D(\boldsymbol{x} ; \phi) + (1-1)(1- \log D(\boldsymbol{x} ; \phi)) = - \log D(\boldsymbol{x} ; \phi) LOSS=−1∗logD(x;ϕ)+(1−1)(1−logD(x;ϕ))=−logD(x;ϕ) 平均损失函数就是（其实就是求平均）： L O S S = − E x ∼ p d a t a ( x ) [ log ⁡ D ( x ; ϕ ) ] LOSS = - \mathbb{E}{\boldsymbol{x} \sim p{data}(\boldsymbol{x})}[\log D(\boldsymbol{x} ; \phi)] LOSS=−Ex∼pdata​(x)​[logD(x;ϕ)] 那么对于 z ∼ p ( z ) z \sim p(z) z∼p(z) 的输出 D ( G ( z ; θ ) ; ϕ ) ) D(G(\boldsymbol{z} ; \theta) ; \phi)) D(G(z;θ);ϕ))是假的，也就是标签为0，那么其单个样本损失函数就是: L O S S = 0 ∗ D ( G ( z ; θ ) ; ϕ ) ) + ( 1 − 0 ) ( 1 − D ( G ( z ; θ ) ; ϕ ) ) ) = 1 − D ( G ( z ; θ ) ; ϕ ) ) LOSS = 0*D(G(\boldsymbol{z} ; \theta) ; \phi))+(1-0)(1-D(G(\boldsymbol{z} ; \theta) ; \phi))) = 1 - D(G(\boldsymbol{z} ; \theta) ; \phi)) LOSS=0∗D(G(z;θ);ϕ))+(1−0)(1−D(G(z;θ);ϕ)))=1−D(G(z;θ);ϕ)) 平均损失函数就是： L O S S = − E z ∼ p ( z ) [ log ⁡ ( 1 − D ( G ( z ; θ ) ; ϕ ) ) ] LOSS = - \mathbb{E}{\boldsymbol{z} \sim p(\boldsymbol{z})}[\log (1-D(G(\boldsymbol{z} ; \theta) ; \phi))] LOSS=−Ez∼p(z)​[log(1−D(G(z;θ);ϕ))] 由于上面损失函数是负数，并且需要最小化损失函数，那么反过来的最大化损失函数就是： max ⁡ ϕ E x ∼ p d a t a ( x ) [ log ⁡ D ( x ; ϕ ) ] + E z ∼ p ( z ) [ log ⁡ ( 1 − D ( G ( z ; θ ) ; ϕ ) ) ] \max {\phi} \mathbb{E}{\boldsymbol{x} \sim p{data}(\boldsymbol{x})}[\log D(\boldsymbol{x} ; \phi)]+\mathbb{E}_{\boldsymbol{z} \sim p(\boldsymbol{z})}[\log (1-D(G(\boldsymbol{z} ; \theta) ; \phi))] ϕmax​Ex∼pdata​(x)​[logD(x;ϕ)]+Ez∼p(z)​[log(1−D(G(z;θ);ϕ))]

在训练过程中，当G固定的时候，有：

  1.       E
  2.      
  3.      
  4.       
  5.        z
  6.       
  7.       
  8.        ∼
  9.       
  10.       
  11.        p
  12.       
  13.       
  14.        (
  15.       
  16.       
  17.        z
  18.       
  19.       
  20.        )
  21.       
  22.      
  23.     
  24.     
  25.      [
  26.     
  27.     
  28.      log
  29.     
  30.     
  31.      ⁡
  32.     
  33.     
  34.      (
  35.     
  36.     
  37.      1
  38.     
  39.     
  40.      −
  41.     
  42.     
  43.      D
  44.     
  45.     
  46.      (
  47.     
  48.     
  49.      G
  50.     
  51.     
  52.      (
  53.     
  54.     
  55.      z
  56.     
  57.     
  58.      ;
  59.     
  60.     
  61.      θ
  62.     
  63.     
  64.      )
  65.     
  66.     
  67.      ;
  68.     
  69.     
  70.      ϕ
  71.     
  72.     
  73.      )
  74.     
  75.     
  76.      )
  77.     
  78.     
  79.      ]
  80.     
  81.     
  82.      =
  83.     
  84.     
  85.      
  86.       E
  87.      
  88.      
  89.       
  90.        x
  91.       
  92.       
  93.        ∼
  94.       
  95.       
  96.        
  97.         p
  98.        
  99.        
  100.         g
  101.        
  102.       
  103.       
  104.        (
  105.       
  106.       
  107.        x
  108.       
  109.       
  110.        )
  111.       
  112.      
  113.     
  114.     
  115.      [
  116.     
  117.     
  118.      log
  119.     
  120.     
  121.      ⁡
  122.     
  123.     
  124.      (
  125.     
  126.     
  127.      1
  128.     
  129.     
  130.      −
  131.     
  132.     
  133.      D
  134.     
  135.     
  136.      (
  137.     
  138.     
  139.      x
  140.     
  141.     
  142.      ;
  143.     
  144.     
  145.      ϕ
  146.     
  147.     
  148.      )
  149.     
  150.     
  151.      )
  152.     
  153.     
  154.      ]
  155.     
  156.    
  157.    
  158.      \mathbb{E}_{\boldsymbol{z} \sim p(\boldsymbol{z})}[\log (1-D(G(\boldsymbol{z} ; \theta) ; \phi))] = \mathbb{E}_{\boldsymbol{x} \sim p_{g} (\boldsymbol{x})}[\log (1-D(x; \phi))] 
  159.    
  160.   
  161.  Ez∼p(z)​[log(1−D(G(z;θ);ϕ))]=Ex∼pg​(x)​[log(1−D(x;ϕ))]

全局优化首先固定G，然后优化D（这种情况也就是生成数据的分布

  1.     x
  2.    
  3.    
  4.     ∼
  5.    
  6.    
  7.     
  8.      p
  9.     
  10.     
  11.      g
  12.     
  13.    
  14.    
  15.     (
  16.    
  17.    
  18.     x
  19.    
  20.    
  21.     )
  22.    
  23.   
  24.   
  25.    \boldsymbol{x} \sim p_{g} (\boldsymbol{x})
  26.   
  27.  
  28. x∼pg​(x) 与真实分布
  30.  
  31.   
  32.    
  33.     x
  34.    
  35.    
  36.     ∼
  37.    
  38.    
  39.     
  40.      p
  41.     
  42.     
  43.      
  44.       d
  45.      
  46.      
  47.       a
  48.      
  49.      
  50.       t
  51.      
  52.      
  53.       a
  54.      
  55.     
  56.    
  57.    
  58.     (
  59.    
  60.    
  61.     x
  62.    
  63.    
  64.     )
  65.    
  66.   
  67.   
  68.    \boldsymbol{x} \sim p_{data} (\boldsymbol{x})
  69.   
  70.  
  71. x∼pdata​(x)已知），D的最佳情况为：（推导可以看GAN入门理解及公式推导 - 知乎 (zhihu.com)）
  73.  
  74.   
  75.    
  76.     
  77.      
  78.       D
  79.      
  80.      
  81.       G
  82.      
  83.      
  84.       ∗
  85.      
  86.     
  87.     
  88.      (
  89.     
  90.     
  91.      x
  92.     
  93.     
  94.      )
  95.     
  96.     
  97.      =
  98.     
  99.     
  100.      
  101.       
  102.        
  103.         p
  104.        
  105.        
  106.         data 
  107.        
  108.       
  109.       
  110.        (
  111.       
  112.       
  113.        x
  114.       
  115.       
  116.        )
  117.       
  118.      
  119.      
  120.       
  121.        
  122.         p
  123.        
  124.        
  125.         data 
  126.        
  127.       
  128.       
  129.        (
  130.       
  131.       
  132.        x
  133.       
  134.       
  135.        )
  136.       
  137.       
  138.        +
  139.       
  140.       
  141.        
  142.         p
  143.        
  144.        
  145.         g
  146.        
  147.       
  148.       
  149.        (
  150.       
  151.       
  152.        x
  153.       
  154.       
  155.        )
  156.       
  157.      
  158.     
  159.    
  160.    
  161.      D_{G}^{*}(\boldsymbol{x})=\frac{p_{\text {data }}(\boldsymbol{x})}{p_{\text {data }}(\boldsymbol{x})+p_{g}(\boldsymbol{x})} 
  162.    
  163.   
  164.  DG∗​(x)=pdata ​(x)+pg​(x)pdata ​(x)​

将最佳的D代入目标loss函数，有：

  1.      =
  2.     
  3.     
  4.      −
  5.     
  6.     
  7.      2
  8.     
  9.     
  10.      log
  11.     
  12.     
  13.      ⁡
  14.     
  15.     
  16.      2
  17.     
  18.     
  19.      +
  20.     
  21.     
  22.      2
  23.     
  24.     
  25.      
  26.       D
  27.      
  28.      
  29.       
  30.        J
  31.       
  32.       
  33.        S
  34.       
  35.      
  36.     
  37.     
  38.      
  39.       (
  40.      
  41.      
  42.       
  43.        P
  44.       
  45.       
  46.        data 
  47.       
  48.      
  49.      
  50.       ∥
  51.      
  52.      
  53.       
  54.        P
  55.       
  56.       
  57.        g
  58.       
  59.      
  60.      
  61.       )
  62.      
  63.     
  64.    
  65.    
  66.      =-2 \log 2+2 D_{JS}\left(P_{\text {data }} \| P_{g}\right) 
  67.    
  68.   
  69.  =−2log2+2DJS​(Pdata ​∥Pg​)

也就是说，原始GAN的loss实际上等价于JS散度。

一次代码实验

很多的GAN网络结构代码可以参考：PyTorch-GAN

其中一个网络结构如下：

在这里插入图片描述

在实验中，对应的形状如下所示：

  1. 高斯随机变量：torch.Size([batch_size, 100])
  2. 生成的fake_image, 真实image：torch.Size([batch_size, 3,64,64])
  3. 判别真假：torch.Size([batch_size, 1])

代码如下：

生成网络代码

  1. classGenerator(nn.Module):def__init__(self):super(Generator, self).__init__()defblock(in_feat, out_feat, normalize=True):
  2.             layers =[nn.Linear(in_feat, out_feat)]if normalize:
  3.                 layers.append(nn.BatchNorm1d(out_feat,0.8))
  4.             layers.append(nn.LeakyReLU(0.2, inplace=True))return layers
  6.         self.model = nn.Sequential(*block(opt.latent_dim,128, normalize=False),*block(128,256),*block(256,512),*block(512,1024),
  7.             nn.Linear(1024,int(np.prod(img_shape))),
  8.             nn.Tanh())defforward(self, z):
  9.         img = self.model(z)
  10.         img = img.view(img.shape[0],*img_shape)return img

对抗网络代码

  1. classDiscriminator(nn.Module):def__init__(self):super(Discriminator, self).__init__()
  3.         self.model = nn.Sequential(
  4.             nn.Linear(int(np.prod(img_shape)),512),
  5.             nn.LeakyReLU(0.2, inplace=True),
  6.             nn.Linear(512,256),
  7.             nn.LeakyReLU(0.2, inplace=True),
  8.             nn.Linear(256,1),)

然后在Anime_Faces数据集中训练，获得的1000个epochs后生成的数据有：

在这里插入图片描述

感觉效果不太行，估计是网络结构的局限性。

WGAN

参考论文：[1701.07875] Wasserstein GAN (arxiv.org)

在生成对抗网络中，当判断网络为最优时，生成网络的优化目标是最小化真实分布 

  1.       p
  2.      
  3.      
  4.       r
  5.      
  6.     
  7.     
  8.      (
  9.     
  10.     
  11.      x
  12.     
  13.     
  14.      )
  15.     
  16.    
  17.    
  18.     p_r (x)
  19.    
  20.   
  21.  pr​(x) 和模型分布 
  22.  
  23.   
  24.    
  25.     
  26.      
  27.       p
  28.      
  29.      
  30.       θ
  31.      
  32.     
  33.     
  34.      (
  35.     
  36.     
  37.      x
  38.     
  39.     
  40.      )
  41.     
  42.    
  43.    
  44.     p_θ (x)
  45.    
  46.   
  47.  pθ​(x) 之间的JS散度。当两个分布相同时，JS散度为0，最优生成网络对应的损失为−2log2。但是使用JS散度来训练生成对抗网络的一个问题是当两个分布没有重叠时，它们之间的JS散度恒等于常数log2。对生成网络来说，目标函数**关于参数的梯度为0**。

在GAN的基础上加入了Wasserstein距离，Wasserstein距离用于衡量两个分布之间的距离。相比KL散度和JS散度的优势在于即使两个分布没有重叠或者重叠非常少，Wasserstein距离仍然能反映两个分布的远近。其数学公式如下：

  1.       W
  2.      
  3.      
  4.       p
  5.      
  6.     
  7.     
  8.      
  9.       (
  10.      
  11.      
  12.       
  13.        q
  14.       
  15.       
  16.        1
  17.       
  18.      
  19.      
  20.       ,
  21.      
  22.      
  23.       
  24.        q
  25.       
  26.       
  27.        2
  28.       
  29.      
  30.      
  31.       )
  32.      
  33.     
  34.     
  35.      =
  36.     
  37.     
  38.      
  39.       
  40.        (
  41.       
  42.       
  43.        
  44.         
  45.          inf
  46.         
  47.         
  48.          ⁡
  49.         
  50.        
  51.        
  52.         
  53.          γ
  54.         
  55.         
  56.          (
  57.         
  58.         
  59.          x
  60.         
  61.         
  62.          ,
  63.         
  64.         
  65.          y
  66.         
  67.         
  68.          )
  69.         
  70.         
  71.          ∈
  72.         
  73.         
  74.          Γ
  75.         
  76.         
  77.          
  78.           (
  79.          
  80.          
  81.           
  82.            q
  83.           
  84.           
  85.            1
  86.           
  87.          
  88.          
  89.           ,
  90.          
  91.          
  92.           
  93.            q
  94.           
  95.           
  96.            2
  97.           
  98.          
  99.          
  100.           )
  101.          
  102.         
  103.        
  104.       
  105.       
  106.        
  107.         E
  108.        
  109.        
  110.         
  111.          (
  112.         
  113.         
  114.          x
  115.         
  116.         
  117.          ,
  118.         
  119.         
  120.          y
  121.         
  122.         
  123.          )
  124.         
  125.         
  126.          ∼
  127.         
  128.         
  129.          γ
  130.         
  131.         
  132.          (
  133.         
  134.         
  135.          x
  136.         
  137.         
  138.          ,
  139.         
  140.         
  141.          y
  142.         
  143.         
  144.          )
  145.         
  146.        
  147.       
  148.       
  149.        
  150.         [
  151.        
  152.        
  153.         d
  154.        
  155.        
  156.         (
  157.        
  158.        
  159.         x
  160.        
  161.        
  162.         ,
  163.        
  164.        
  165.         y
  166.        
  167.        
  168.         
  169.          )
  170.         
  171.         
  172.          p
  173.         
  174.        
  175.        
  176.         ]
  177.        
  178.       
  179.       
  180.        )
  181.       
  182.      
  183.      
  184.       
  185.        1
  186.       
  187.       
  188.        p
  189.       
  190.      
  191.     
  192.    
  193.    
  194.      W_{p}\left(q_{1}, q_{2}\right)=\left(\inf _{\gamma(x, y) \in \Gamma\left(q_{1}, q_{2}\right)} \mathbb{E}_{(x, y) \sim \gamma(x, y)}\left[d(x, y)^{p}\right]\right)^{\frac{1}{p}} 
  195.    
  196.   
  197.  Wp​(q1​,q2​)=(γ(x,y)∈Γ(q1​,q2​)inf​E(x,y)∼γ(x,y)​[d(x,y)p])p1​

其中 ，

  1.     Γ
  2.    
  3.    
  4.     
  5.      (
  6.     
  7.     
  8.      
  9.       q
  10.      
  11.      
  12.       1
  13.      
  14.     
  15.     
  16.      ,
  17.     
  18.     
  19.      
  20.       q
  21.      
  22.      
  23.       2
  24.      
  25.     
  26.     
  27.      )
  28.     
  29.    
  30.   
  31.   
  32.    \Gamma\left(q_{1}, q_{2}\right)
  33.   
  34.  
  35. Γ(q1​,q2​) 是边际分布为 
  37.  
  38.   
  39.    
  40.     
  41.      q
  42.     
  43.     
  44.      1
  45.     
  46.    
  47.    
  48.     ,
  49.    
  50.    
  51.     
  52.      q
  53.     
  54.     
  55.      2
  56.     
  57.    
  58.   
  59.   
  60.    q_{1}, q_{2}
  61.   
  62.  
  63. q1​,q2​ 的所有可能的联合分布集合, 
  65.  
  66.   
  67.    
  68.     d
  69.    
  70.    
  71.     (
  72.    
  73.    
  74.     x
  75.    
  76.    
  77.     ,
  78.    
  79.    
  80.     y
  81.    
  82.    
  83.     )
  84.    
  85.   
  86.   
  87.    \mathrm{d}(\mathrm{x}, \mathrm{y})
  88.   
  89.  
  90. d(x,y) 为 
  92.  
  93.   
  94.    
  95.     x
  96.    
  97.   
  98.   
  99.    \mathrm{x}
  100.   
  101.  
  102. x 和 
  104.  
  105.   
  106.    
  107.     y
  108.    
  109.   
  110.   
  111.    \mathrm{y}
  112.   
  113.  
  114. y 的 距离, 比如 
  116.  
  117.   
  118.    
  119.     
  120.      ℓ
  121.     
  122.     
  123.      p
  124.     
  125.    
  126.   
  127.   
  128.    \ell_{p}
  129.   
  130.  
  131. ℓp​ 距离等，
  133.  
  134.   
  135.    
  136.     E
  137.    
  138.   
  139.   
  140.    \mathbb{E}
  141.   
  142.  
  143. E 表示期望，
  145.  
  146.   
  147.    
  148.     inf
  149.    
  150.    
  151.     ⁡
  152.    
  153.   
  154.   
  155.    \inf
  156.   
  157.  
  158. inf表示下确界。
  1. 下确界

，如果是一个集合的下确界， 即表示

  1. 小于或等于集合E

的所有其他元素的

  1. 最大元素

， 这个数

  1. 不一定

在集合E中。举例来说：

    1.                                     i                            n                            f                            {                            1                            ,                            2                            ,                            3                            }                            =                            1                                  inf\{1,2,3\} = 1                     inf{1,2,3}=1; 也就是说集合                                        {                            1                            ,                            2                            ,                            3                            }                                  \{1,2,3\}                     {1,2,3}的下确界为1
    1.                                     i                            n                            f                            {                            x                            ∈                            R                            ,                            0                            <                            x                            <                            1                            }                            =                            0                                  inf\{x \in \mathbb{R}, 0<x<1 \} = 0                     inf{x∈R,0<x<1}=0 ;
    1.                                     i                            n                            f                            {                            (                            −                            1                                       )                               n                                      +                            1                            /                            n                            :                            n                            =                            1                            ,                            2                            ,                            3                            ,                            .                            .                            .                            }                            =                            −                            1                                  inf\{(-1)^{n} + 1/n : n = 1, 2, 3,...\} = -1                     inf{(−1)n+1/n:n=1,2,3,...}=−1;

当然，换一种角度解读：将两个分布看作是两个土堆，联合分布 

  1.     γ
  2.    
  3.    
  4.     (
  5.    
  6.    
  7.     x
  8.    
  9.    
  10.     ,
  11.    
  12.    
  13.     y
  14.    
  15.    
  16.     )
  17.    
  18.   
  19.   
  20.    \gamma(x, y)
  21.   
  22.  
  23. γ(x,y) 看作是从土堆 
  25.  
  26.   
  27.    
  28.     
  29.      q
  30.     
  31.     
  32.      1
  33.     
  34.    
  35.   
  36.   
  37.    q_1
  38.   
  39.  
  40. q1​ 的位置 
  42.  
  43.   
  44.    
  45.     x
  46.    
  47.   
  48.   
  49.    x
  50.   
  51.  
  52. x 到土堆 
  54.  
  55.   
  56.    
  57.     
  58.      q
  59.     
  60.     
  61.      2
  62.     
  63.    
  64.   
  65.   
  66.    q_2
  67.   
  68.  
  69. q2​ 的位置 
  71.  
  72.   
  73.    
  74.     y
  75.    
  76.   
  77.   
  78.    y
  79.   
  80.  
  81. y 的搬运土的数量。Wasserstein距离可以理解为搬运土堆的最小工作量，也称为推土机距离（Earth-Mover’s Distance，EMD）

在这里插入图片描述

WGAN-GP

参考论文：[1704.00028] Improved Training of Wasserstein GANs (arxiv.org)

WGAN还是有问题：

  • 权重裁剪会导致参数基本都在限制的边界值，极大浪费了模型的参数。
  • 还是很容易梯度消失或者梯度爆炸，需要仔细的调参

WGAN-GP，核心只有一个：Gradient Penalty

Gradient Penalty：判别器相对于输入的梯度的二范数要约束在1附近，这样就能够保证Lipschitz连续。

在这里插入图片描述

  1. # 计算Gradient Penaltydefcompute_gradient_penalty(D, real_samples, fake_samples):"""Calculates the gradient penalty loss for WGAN GP"""# Random weight term for interpolation between real and fake samples
  2.     alpha = Tensor(np.random.random((real_samples.size(0),1,1,1)))# Get random interpolation between real and fake samples
  3.     interpolates =(alpha * real_samples +((1- alpha)* fake_samples)).requires_grad_(True)
  4.     d_interpolates = D(interpolates)
  5.     fake = Variable(Tensor(real_samples.shape[0],1).fill_(1.0), requires_grad=False)# Get gradient w.r.t. interpolates
  6.     gradients = autograd.grad(
  7.         outputs=d_interpolates,
  8.         inputs=interpolates,
  9.         grad_outputs=fake,
  10.         create_graph=True,
  11.         retain_graph=True,
  12.         only_inputs=True,)[0]
  13.     gradients = gradients.view(gradients.size(0),-1)
  14.     gradient_penalty =((gradients.norm(2, dim=1)-1)**2).mean()return gradient_penalty

Conditional GAN

条件GAN，顾名思义就是根据条件针对性的生成数据。具体有AC-GAN。

标签： 生成对抗网络 人工智能
本文转载自: https://blog.csdn.net/weixin_41012765/article/details/125711857
版权归原作者 牵一发而动全身 所有， 如有侵权，请联系我们删除。
登录后发布评论

“GAN网络”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？