0
0

从零实现深度学习框架——神经元与常见激活函数

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。

要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不使用外部完备的框架前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。
本系列文章首发于微信公众号：JavaNLP

我们已经了解了线性回归和逻辑回归，本文来学习深度学习中神经网络的基础构建——神经元，以及常见的激活函数。

神经元

神经网络和逻辑回归很像，但神经网络更强大。而神经网络是由很多个神经元(Neuron)组成的。一个神经元将实数集作为输入，然后应用某种运算，产生一个实数输出。

神经元示意图

在神经元内部，如上图所示，神经元首先计算输入的加权和

  1.      ∑
  2.     
  3.     
  4.      i
  5.     
  6.    
  7.    
  8.     
  9.      w
  10.     
  11.     
  12.      i
  13.     
  14.    
  15.    
  16.     
  17.      x
  18.     
  19.     
  20.      i
  21.     
  22.    
  23.   
  24.   
  25.    \sum_i w_i x_i
  26.   
  27.  
  28. ∑i​wi​xi​，然后加上偏置项
  30.  
  31.   
  32.    
  33.     b
  34.    
  35.   
  36.   
  37.    b
  38.   
  39.  
  40. b。给定输入
  42.  
  43.   
  44.    
  45.     
  46.      x
  47.     
  48.     
  49.      1
  50.     
  51.    
  52.    
  53.     ,
  54.    
  55.    
  56.     ⋯
  57.     
  58.    
  59.     ,
  60.    
  61.    
  62.     
  63.      x
  64.     
  65.     
  66.      n
  67.     
  68.    
  69.   
  70.   
  71.    x_1,\cdots,x_n
  72.   
  73.  
  74. x1​,⋯,xn​，每个输入对应一个权重，得到加权和
  76.  
  77.   
  78.    
  79.     z
  80.    
  81.   
  82.   
  83.    z
  84.   
  85.  
  86. z：
  88.  
  89.   
  90.    
  91.     
  92.      
  93.      
  94.       
  95.        
  96.         z
  97.        
  98.        
  99.         =
  100.        
  101.        
  102.         b
  103.        
  104.        
  105.         +
  106.        
  107.        
  108.         
  109.          ∑
  110.         
  111.         
  112.          i
  113.         
  114.        
  115.        
  116.         
  117.          w
  118.         
  119.         
  120.          i
  121.         
  122.        
  123.        
  124.         
  125.          x
  126.         
  127.         
  128.          i
  129.         
  130.        
  131.       
  132.      
  133.      
  134.      
  135.       
  136.        (1)
  137.       
  138.      
  139.     
  140.    
  141.    
  142.      z = b + \sum_i w_i x_i \tag 1 
  143.    
  144.   
  145.  z=b+i∑​wi​xi​(1)

通常使用向量的形式描述更加方便。这样

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z由向量
  10.  
  11.   
  12.    
  13.     w
  14.    
  15.   
  16.   
  17.    w
  18.   
  19.  
  20. w和标量
  22.  
  23.   
  24.    
  25.     b
  26.    
  27.   
  28.   
  29.    b
  30.   
  31.  
  32. b，以及输入向量
  34.  
  35.   
  36.    
  37.     x
  38.    
  39.   
  40.   
  41.    x
  42.   
  43.  
  44. x来描述：
  46.  
  47.   
  48.    
  49.     
  50.      
  51.      
  52.       
  53.        
  54.         z
  55.        
  56.        
  57.         =
  58.        
  59.        
  60.         w
  61.        
  62.        
  63.         ⋅
  64.        
  65.        
  66.         x
  67.        
  68.        
  69.         +
  70.        
  71.        
  72.         b
  73.        
  74.       
  75.      
  76.      
  77.      
  78.       
  79.        (2)
  80.       
  81.      
  82.     
  83.    
  84.    
  85.      z =w \cdot x +b \tag 2 
  86.    
  87.   
  88.  z=w⋅x+b(2)

注意这里得到的

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z只是一个实数(标量)。

最后，我们不是直接使用

  1.     z
  2.    
  3.   
  4.   
  5.    z
  6.   
  7.  
  8. z作为输出，神经元内部应用一个非线性函数
  10.  
  11.   
  12.    
  13.     f
  14.    
  15.   
  16.   
  17.    f
  18.   
  19.  
  20. f到
  22.  
  23.   
  24.    
  25.     z
  26.    
  27.   
  28.   
  29.    z
  30.   
  31.  
  32. z​上：
  34.  
  35.   
  36.    
  37.     
  38.      y
  39.     
  40.     
  41.      =
  42.     
  43.     
  44.      a
  45.     
  46.     
  47.      =
  48.     
  49.     
  50.      f
  51.     
  52.     
  53.      (
  54.     
  55.     
  56.      z
  57.     
  58.     
  59.      )
  60.     
  61.    
  62.    
  63.      y = a = f(z) 
  64.    
  65.   
  66.  y=a=f(z)

这里的非线性函数称为激活函数，该函数的输出值称为激活值

  1.     a
  2.    
  3.   
  4.   
  5.    a
  6.   
  7.  
  8. a，我们已经见过的一种激活函数是Sigmoid函数：
  10.  
  11.   
  12.    
  13.     
  14.      
  15.      
  16.       
  17.        
  18.         y
  19.        
  20.        
  21.         =
  22.        
  23.        
  24.         σ
  25.        
  26.        
  27.         (
  28.        
  29.        
  30.         z
  31.        
  32.        
  33.         )
  34.        
  35.        
  36.         =
  37.        
  38.        
  39.         
  40.          1
  41.         
  42.         
  43.          
  44.           1
  45.          
  46.          
  47.           +
  48.          
  49.          
  50.           
  51.            e
  52.           
  53.           
  54.            
  55.             −
  56.            
  57.            
  58.             z
  59.            
  60.           
  61.          
  62.         
  63.        
  64.       
  65.      
  66.      
  67.      
  68.       
  69.        (3)
  70.       
  71.      
  72.     
  73.    
  74.    
  75.      y = \sigma(z) = \frac{1}{1 + e^{-z}} \tag 3 
  76.    
  77.   
  78.  y=σ(z)=1+e−z1​(3)

这里神经元的输出

  1.     y
  2.    
  3.   
  4.   
  5.    y
  6.   
  7.  
  8. y和激活值
  10.  
  11.   
  12.    
  13.     a
  14.    
  15.   
  16.   
  17.    a
  18.   
  19.  
  20. a相同，但在神经网络中，我们通常用
  22.  
  23.   
  24.    
  25.     y
  26.    
  27.   
  28.   
  29.    y
  30.   
  31.  
  32. y​表示整个网络最终的输出。把
  34.  
  35.   
  36.    
  37.     (
  38.    
  39.    
  40.     2
  41.    
  42.    
  43.     )
  44.    
  45.   
  46.   
  47.    (2)
  48.   
  49.  
  50. (2)代入
  52.  
  53.   
  54.    
  55.     (
  56.    
  57.    
  58.     3
  59.    
  60.    
  61.     )
  62.    
  63.   
  64.   
  65.    (3)
  66.   
  67.  
  68. (3)，得到神经元的输出：
  70.  
  71.   
  72.    
  73.     
  74.      
  75.      
  76.       
  77.        
  78.         y
  79.        
  80.        
  81.         =
  82.        
  83.        
  84.         σ
  85.        
  86.        
  87.         (
  88.        
  89.        
  90.         w
  91.        
  92.        
  93.         ⋅
  94.        
  95.        
  96.         x
  97.        
  98.        
  99.         +
  100.        
  101.        
  102.         b
  103.        
  104.        
  105.         )
  106.        
  107.        
  108.         =
  109.        
  110.        
  111.         
  112.          1
  113.         
  114.         
  115.          
  116.           1
  117.          
  118.          
  119.           +
  120.          
  121.          
  122.           exp
  123.          
  124.          
  125.           ⁡
  126.          
  127.          
  128.           (
  129.          
  130.          
  131.           −
  132.          
  133.          
  134.           (
  135.          
  136.          
  137.           w
  138.          
  139.          
  140.           ⋅
  141.          
  142.          
  143.           x
  144.          
  145.          
  146.           +
  147.          
  148.          
  149.           b
  150.          
  151.          
  152.           )
  153.          
  154.          
  155.           )
  156.          
  157.         
  158.        
  159.       
  160.      
  161.      
  162.      
  163.       
  164.        (4)
  165.       
  166.      
  167.     
  168.    
  169.    
  170.      y = \sigma(w\cdot x + b) = \frac{1}{1 + \exp(-(w\cdot x + b))} \tag 4 
  171.    
  172.   
  173.  y=σ(w⋅x+b)=1+exp(−(w⋅x+b))1​(4)

除了Sigmoid之外，还有很多其他比较常见的激活函数。

常见激活函数

激活函数(activation function)通过计算加权和并加上偏置来确定神经元是否应该被激活，大多数激活函数都是非线性的。所有

ReLU

最常用的激活函数是修正线性单元(Rectified linear unit,ReLU)，提供了一种非常简单的非线性变换。给定元素

  1.     x
  2.    
  3.   
  4.   
  5.    x
  6.   
  7.  
  8. x，ReLU函数被定义为该元素与
  10.  
  11.   
  12.    
  13.     0
  14.    
  15.   
  16.   
  17.    0
  18.   
  19.  
  20. 0的最大值：
  22.  
  23.   
  24.    
  25.     
  26.      
  27.      
  28.       
  29.        
  30.         ReLU
  31.        
  32.        
  33.         (
  34.        
  35.        
  36.         x
  37.        
  38.        
  39.         )
  40.        
  41.        
  42.         =
  43.        
  44.        
  45.         max
  46.        
  47.        
  48.         ⁡
  49.        
  50.        
  51.         (
  52.        
  53.        
  54.         0
  55.        
  56.        
  57.         ,
  58.        
  59.        
  60.         x
  61.        
  62.        
  63.         )
  64.        
  65.       
  66.      
  67.      
  68.      
  69.       
  70.        (5)
  71.       
  72.      
  73.     
  74.    
  75.    
  76.      \text{ReLU}(x) = \max(0, x) \tag 5 
  77.    
  78.   
  79.  ReLU(x)=max(0,x)(5)

ReLU函数通过将相应的激活值设为

  1.     0
  2.    
  3.   
  4.   
  5.    0
  6.   
  7.  
  8. 0，仅保留正元素并丢弃所有负元素。我们可以画出函数的图形感受一下：
  1. from metagrad.functions import*from metagrad.utils import plot
  3. if __name__ =='__main__':
  4.     x = Tensor.arange(-8.0,8.0,0.1, requires_grad=True)
  5.     y = relu(x)
  6.     plot(x.numpy(), y.numpy(),'x','relu(x)', random_fname=True, figsize=(5,2.5))

ReLU函数图像

当输入为负时，ReLU函数的导数为

  1.     0
  2.    
  3.   
  4.   
  5.    0
  6.   
  7.  
  8. 0，当输入为正时，ReLU函数的导数为
  10.  
  11.   
  12.    
  13.     1
  14.    
  15.   
  16.   
  17.    1
  18.   
  19.  
  20. 1。当输入为
  22.  
  23.   
  24.    
  25.     0
  26.    
  27.   
  28.   
  29.    0
  30.   
  31.  
  32. 0时，我们让其导数也为
  34.  
  35.   
  36.    
  37.     0
  38.    
  39.   
  40.   
  41.    0
  42.   
  43.  
  44. 0。
  1. y.backward(Tensor.ones_like(x))
  2. plot(x.numpy(), x.grad.numpy(),'x','grad of relu', figsize=(5,2.5))

ReLU的导数图像

由于ReLU的简单性，没有包含

  1.      e
  2.     
  3.     
  4.      x
  5.     
  6.    
  7.   
  8.   
  9.    e^x
  10.   
  11.  
  12. ex，导致它的计算效率极高。同时它的梯度要么为
  14.  
  15.   
  16.    
  17.     0
  18.    
  19.   
  20.   
  21.    0
  22.   
  23.  
  24. 0，要么为
  26.  
  27.   
  28.    
  29.     1
  30.    
  31.   
  32.   
  33.    1
  34.   
  35.  
  36. 1，这使得优化变现得更好，减轻了困扰神经网络的梯度消息问题。

ReLU导数的函数图形如上图所示，我们可以看到，在

  1.     x
  2.    
  3.    
  4.     <
  5.    
  6.    
  7.     0
  8.    
  9.   
  10.   
  11.    x < 0
  12.   
  13.  
  14. x<0的一侧，梯度值永远是
  16.  
  17.   
  18.    
  19.     0
  20.    
  21.   
  22.   
  23.    0
  24.   
  25.  
  26. 0。因此，在反向传播的过程中，可能有些神经元的权重不会被更新(因为导数为
  28.  
  29.   
  30.    
  31.     0
  32.    
  33.   
  34.   
  35.    0
  36.   
  37.  
  38. 0)。这可能会导致永不激活的死节点(神经元)。这个问题可以被ReLU的变种：Leaky ReLU解决。

Leaky ReLU

Leaky ReLU是ReLU的改进版本，主要用于解决上面跳到的死节点问题，通过给所有负值赋予一个小的正斜率来解决

  1.         Leaky ReLu
  2.        
  3.        
  4.         (
  5.        
  6.        
  7.         x
  8.        
  9.        
  10.         )
  11.        
  12.        
  13.         =
  14.        
  15.        
  16.         m
  17.        
  18.        
  19.         a
  20.        
  21.        
  22.         x
  23.        
  24.        
  25.         (
  26.        
  27.        
  28.         a
  29.        
  30.        
  31.         x
  32.        
  33.        
  34.         ,
  35.        
  36.        
  37.         x
  38.        
  39.        
  40.         )
  41.        
  42.       
  43.      
  44.      
  45.      
  46.       
  47.        (6)
  48.       
  49.      
  50.     
  51.    
  52.    
  53.      \text{Leaky ReLu}(x) = max(ax, x) \tag 6 
  54.    
  55.   
  56.  Leaky ReLu(x)=max(ax,x)(6)

通常这里的

  1.     a
  2.    
  3.    
  4.     =
  5.    
  6.    
  7.     0.01
  8.    
  9.   
  10.   
  11.    a=0.01
  12.   
  13.  
  14. a=0.01，为了看出效果。在画图时让
  16.  
  17.   
  18.    
  19.     a
  20.    
  21.    
  22.     =
  23.    
  24.    
  25.     0.1
  26.    
  27.   
  28.   
  29.    a=0.1
  30.   
  31.  
  32. a=0.1，我们看一下它的图形：
  1. y = leaky_relu(x)
  2. plot(x.numpy(), y.numpy(),'x','leaky relu(x)', random_fname=True, figsize=(5,2.5))

Leaky ReLU函数图像

Leaky ReLU的优点与ReLU相同，同时对于负输入，其导数也变成了一个非零值(即

  1.     a
  2.    
  3.   
  4.   
  5.    a
  6.   
  7.  
  8. a)。

Leaky ReLU的导数图像

从上图可以看到，对于

  1.     x
  2.    
  3.    
  4.     <
  5.    
  6.    
  7.     0
  8.    
  9.   
  10.   
  11.    x < 0
  12.   
  13.  
  14. x<0的一侧，它们也有非零的导数。不至于出现死节点，但是由于
  16.  
  17.   
  18.    
  19.     a
  20.    
  21.   
  22.   
  23.    a
  24.   
  25.  
  26. a通常很小，导致在在此侧的模型参数学习缓慢。

除了Leaky ReLU外，类似地还有两种变体，分别是Parametric ReLU和Randomized Leaky ReLU。

Parametric ReLU称为参数化的ReLU，即令Leaky ReLU中的

  1.     a
  2.    
  3.   
  4.   
  5.    a
  6.   
  7.  
  8. a变成了一个可学习的参数。

而Randomized Leaky ReLU让

  1.     a
  2.    
  3.   
  4.   
  5.    a
  6.   
  7.  
  8. a取自一个连续均匀概率分布。

Exponential Linear Unit

ELU(Exponential Linear Unit)也是ReLU的一种变体，类似Leaky ReLU修改在

  1.     x
  2.    
  3.    
  4.     <
  5.    
  6.    
  7.     0
  8.    
  9.   
  10.   
  11.    x < 0
  12.   
  13.  
  14. x<0侧的斜率，但在负区域不是一条直线，而是一条对数曲线。
  16.  
  17.   
  18.    
  19.     
  20.      
  21.      
  22.       
  23.        
  24.         ELU
  25.        
  26.        
  27.         (
  28.        
  29.        
  30.         x
  31.        
  32.        
  33.         )
  34.        
  35.        
  36.         =
  37.        
  38.        
  39.         max
  40.        
  41.        
  42.         ⁡
  43.        
  44.        
  45.         (
  46.        
  47.        
  48.         0
  49.        
  50.        
  51.         ,
  52.        
  53.        
  54.         x
  55.        
  56.        
  57.         )
  58.        
  59.        
  60.         +
  61.        
  62.        
  63.         min
  64.        
  65.        
  66.         ⁡
  67.        
  68.        
  69.         (
  70.        
  71.        
  72.         0
  73.        
  74.        
  75.         ,
  76.        
  77.        
  78.         α
  79.        
  80.        
  81.         ∗
  82.        
  83.        
  84.         (
  85.        
  86.        
  87.         exp
  88.        
  89.        
  90.         ⁡
  91.        
  92.        
  93.         (
  94.        
  95.        
  96.         x
  97.        
  98.        
  99.         )
  100.        
  101.        
  102.         −
  103.        
  104.        
  105.         1
  106.        
  107.        
  108.         )
  109.        
  110.        
  111.         )
  112.        
  113.       
  114.      
  115.      
  116.      
  117.       
  118.        (7)
  119.       
  120.      
  121.     
  122.    
  123.    
  124.      \text{ELU}(x) = \max(0,x) + \min(0, \alpha *(\exp(x)-1)) \tag 7 
  125.    
  126.   
  127.  ELU(x)=max(0,x)+min(0,α∗(exp(x)−1))(7)

通常

  1.     α
  2.    
  3.    
  4.     =
  5.    
  6.    
  7.     1
  8.    
  9.   
  10.   
  11.    \alpha=1
  12.   
  13.  
  14. α=1，我们画出ELU的图像：
  1. y = elu(x)
  2. plot(x.numpy(), y.numpy(),'x','elu(x)', random_fname=True, figsize=(5,2.5))

ELU的函数图像

ELU在负值部分缓慢变得平滑，直到输出等于

  1.     −
  2.    
  3.    
  4.     α
  5.    
  6.   
  7.   
  8.    -\alpha
  9.   
  10.  
  11. −α，且
  13.  
  14.   
  15.    
  16.     α
  17.    
  18.   
  19.   
  20.    α
  21.   
  22.  
  23. α是一个可调整的参数，它控制着ELU负值部分在何时饱和。但是引入了
  25.  
  26.   
  27.    
  28.     
  29.      e
  30.     
  31.     
  32.      x
  33.     
  34.    
  35.   
  36.   
  37.    e^x
  38.   
  39.  
  40. ex。其导数的图像为：

ELU的导数图像

SoftPlus

SoftPlus函数与ReLU函数接近，但比较平滑，也是单边抑制的。

  1.         SoftPlus
  2.        
  3.        
  4.         (
  5.        
  6.        
  7.         x
  8.        
  9.        
  10.         )
  11.        
  12.        
  13.         =
  14.        
  15.        
  16.         
  17.          1
  18.         
  19.         
  20.          β
  21.         
  22.        
  23.        
  24.         ∗
  25.        
  26.        
  27.         log
  28.        
  29.        
  30.         ⁡
  31.        
  32.        
  33.         (
  34.        
  35.        
  36.         1
  37.        
  38.        
  39.         +
  40.        
  41.        
  42.         exp
  43.        
  44.        
  45.         ⁡
  46.        
  47.        
  48.         (
  49.        
  50.        
  51.         β
  52.        
  53.        
  54.         ∗
  55.        
  56.        
  57.         x
  58.        
  59.        
  60.         )
  61.        
  62.        
  63.         )
  64.        
  65.       
  66.      
  67.      
  68.      
  69.       
  70.        (8)
  71.       
  72.      
  73.     
  74.    
  75.    
  76.      \text{SoftPlus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x)) \tag 8 
  77.    
  78.   
  79.  SoftPlus(x)=β1​∗log(1+exp(β∗x))(8)

其中

  1.     β
  2.    
  3.   
  4.   
  5.    \beta
  6.   
  7.  
  8. β默认为
  10.  
  11.   
  12.    
  13.     1
  14.    
  15.   
  16.   
  17.    1
  18.   
  19.  
  20. 1，随着
  22.  
  23.   
  24.    
  25.     β
  26.    
  27.   
  28.   
  29.    β
  30.   
  31.  
  32. β的增加，该函数越来越像ReLU。

我们看一下默认情况下的函数图像：

  1. y = softplus(x, beta=10)
  2. plot(x.numpy(), y.numpy(),'x','softplus(x)', random_fname=True, figsize=(5,2.5))

SoftPlus的函数图像

当

  1.     β
  2.    
  3.    
  4.     =
  5.    
  6.    
  7.     10
  8.    
  9.   
  10.   
  11.    \beta=10
  12.   
  13.  
  14. β=10时，我们看一下函数图像：
  1. y = softplus(x, beta=10)
  2. plot(x.numpy(), y.numpy(),'x',r'softplus(x) with $\beta$ = 10', random_fname=True, figsize=(5,2.5))

SoftPlus设置β=10

其导数为：

  1.           d
  2.          
  3.          
  4.           
  5.            d
  6.           
  7.           
  8.            x
  9.           
  10.          
  11.         
  12.         
  13.          Swish
  14.         
  15.         
  16.          (
  17.         
  18.         
  19.          x
  20.         
  21.         
  22.          )
  23.         
  24.        
  25.       
  26.      
  27.      
  28.       
  29.        
  30.         
  31.         
  32.          =
  33.         
  34.         
  35.          
  36.           d
  37.          
  38.          
  39.           
  40.            d
  41.           
  42.           
  43.            x
  44.           
  45.          
  46.         
  47.         
  48.          
  49.           (
  50.          
  51.          
  52.           
  53.            1
  54.           
  55.           
  56.            β
  57.           
  58.          
  59.          
  60.           log
  61.          
  62.          
  63.           ⁡
  64.          
  65.          
  66.           (
  67.          
  68.          
  69.           1
  70.          
  71.          
  72.           +
  73.          
  74.          
  75.           exp
  76.          
  77.          
  78.           ⁡
  79.          
  80.          
  81.           (
  82.          
  83.          
  84.           β
  85.          
  86.          
  87.           x
  88.          
  89.          
  90.           )
  91.          
  92.          
  93.           )
  94.          
  95.          
  96.           )
  97.          
  98.         
  99.        
  100.       
  101.      
  102.     
  103.     
  104.      
  105.       
  106.        
  107.       
  108.      
  109.      
  110.       
  111.        
  112.         
  113.         
  114.          =
  115.         
  116.         
  117.          
  118.           1
  119.          
  120.          
  121.           β
  122.          
  123.         
  124.         
  125.          
  126.           
  127.            exp
  128.           
  129.           
  130.            ⁡
  131.           
  132.           
  133.            (
  134.           
  135.           
  136.            β
  137.           
  138.           
  139.            x
  140.           
  141.           
  142.            )
  143.           
  144.           
  145.            β
  146.           
  147.          
  148.          
  149.           
  150.            1
  151.           
  152.           
  153.            +
  154.           
  155.           
  156.            exp
  157.           
  158.           
  159.            ⁡
  160.           
  161.           
  162.            (
  163.           
  164.           
  165.            β
  166.           
  167.           
  168.            x
  169.           
  170.           
  171.            )
  172.           
  173.          
  174.         
  175.        
  176.       
  177.      
  178.     
  179.     
  180.      
  181.       
  182.        
  183.       
  184.      
  185.      
  186.       
  187.        
  188.         
  189.         
  190.          =
  191.         
  192.         
  193.          
  194.           1
  195.          
  196.          
  197.           
  198.            1
  199.           
  200.           
  201.            +
  202.           
  203.           
  204.            exp
  205.           
  206.           
  207.            ⁡
  208.           
  209.           
  210.            (
  211.           
  212.           
  213.            −
  214.           
  215.           
  216.            β
  217.           
  218.           
  219.            x
  220.           
  221.           
  222.            )
  223.           
  224.          
  225.         
  226.        
  227.       
  228.      
  229.     
  230.     
  231.      
  232.       
  233.        
  234.       
  235.      
  236.      
  237.       
  238.        
  239.         
  240.         
  241.          =
  242.         
  243.         
  244.          σ
  245.         
  246.         
  247.          (
  248.         
  249.         
  250.          β
  251.         
  252.         
  253.          x
  254.         
  255.         
  256.          )
  257.         
  258.        
  259.       
  260.      
  261.     
  262.    
  263.    
  264.      \begin{aligned} \frac{d}{dx}\text{Swish}(x) &= \frac{d}{dx} \left(\frac{1}{\beta} \log(1 + \exp(\beta x)) \right) \\ &= \frac{1}{\beta} \frac{\exp(\beta x) \beta}{1 + \exp(\beta x)}\\ &= \frac{1}{1 + \exp(-\beta x)} \\ &= \sigma(\beta x) \end{aligned} 
  265.    
  266.   
  267.  dxd​Swish(x)​=dxd​(β1​log(1+exp(βx)))=β1​1+exp(βx)exp(βx)β​=1+exp(−βx)1​=σ(βx)​

当

  1.     β
  2.    
  3.    
  4.     =
  5.    
  6.    
  7.     1
  8.    
  9.   
  10.   
  11.    \beta=1
  12.   
  13.  
  14. β=1，其导数就是
  16.  
  17.   
  18.    
  19.     σ
  20.    
  21.    
  22.     (
  23.    
  24.    
  25.     x
  26.    
  27.    
  28.     )
  29.    
  30.   
  31.   
  32.    \sigma(x)
  33.   
  34.  
  35. σ(x)。我们来看下其导数图像：

SoftPlus的导数图像

Swish

Swish在更深层次的模型上显示出比ReLU更好的性能。Swish的输入从负无穷到正无穷。函数定义为

  1.         Swish
  2.        
  3.        
  4.         =
  5.        
  6.        
  7.         x
  8.        
  9.        
  10.         ∗
  11.        
  12.        
  13.         σ
  14.        
  15.        
  16.         (
  17.        
  18.        
  19.         x
  20.        
  21.        
  22.         )
  23.        
  24.        
  25.         =
  26.        
  27.        
  28.         
  29.          x
  30.         
  31.         
  32.          
  33.           1
  34.          
  35.          
  36.           +
  37.          
  38.          
  39.           exp
  40.          
  41.          
  42.           ⁡
  43.          
  44.          
  45.           (
  46.          
  47.          
  48.           −
  49.          
  50.          
  51.           x
  52.          
  53.          
  54.           )
  55.          
  56.         
  57.        
  58.       
  59.      
  60.      
  61.      
  62.       
  63.        (9)
  64.       
  65.      
  66.     
  67.    
  68.    
  69.      \text{Swish} = x * \sigma(x) = \frac{x}{1 + \exp(-x)} \tag 9 
  70.    
  71.   
  72.  Swish=x∗σ(x)=1+exp(−x)x​(9)

相当于是对输入

  1.     x
  2.    
  3.   
  4.   
  5.    x
  6.   
  7.  
  8. x进行了门控(通过
  10.  
  11.   
  12.    
  13.     σ
  14.    
  15.   
  16.   
  17.    \sigma
  18.   
  19.  
  20. σ函数)，我们看一下它的图像：
  1. y = swish(x)
  2. plot(x.numpy(), y.numpy(),'x','swish(x)', random_fname=True, figsize=(5,2.5))

Swish的函数图像

它的曲线都是光滑的，且处处可导。当

  1.     x
  2.    
  3.   
  4.   
  5.    x
  6.   
  7.  
  8. x增大时，函数值趋于无穷大；当
  10.  
  11.   
  12.    
  13.     x
  14.    
  15.   
  16.   
  17.    x
  18.   
  19.  
  20. x减小时，函数值趋于常数。

Swish函数的导数为下面的公式：

  1.           d
  2.          
  3.          
  4.           
  5.            d
  6.           
  7.           
  8.            x
  9.           
  10.          
  11.         
  12.         
  13.          Swish
  14.         
  15.         
  16.          (
  17.         
  18.         
  19.          x
  20.         
  21.         
  22.          )
  23.         
  24.        
  25.       
  26.      
  27.      
  28.       
  29.        
  30.         
  31.         
  32.          =
  33.         
  34.         
  35.          
  36.           d
  37.          
  38.          
  39.           
  40.            d
  41.           
  42.           
  43.            x
  44.           
  45.          
  46.         
  47.         
  48.          x
  49.         
  50.         
  51.          σ
  52.         
  53.         
  54.          (
  55.         
  56.         
  57.          x
  58.         
  59.         
  60.          )
  61.         
  62.        
  63.       
  64.      
  65.     
  66.     
  67.      
  68.       
  69.        
  70.       
  71.      
  72.      
  73.       
  74.        
  75.         
  76.         
  77.          =
  78.         
  79.         
  80.          σ
  81.         
  82.         
  83.          (
  84.         
  85.         
  86.          x
  87.         
  88.         
  89.          )
  90.         
  91.         
  92.          +
  93.         
  94.         
  95.          σ
  96.         
  97.         
  98.          (
  99.         
  100.         
  101.          x
  102.         
  103.         
  104.          
  105.           )
  106.          
  107.          
  108.           ′
  109.          
  110.         
  111.         
  112.          x
  113.         
  114.        
  115.       
  116.      
  117.     
  118.     
  119.      
  120.       
  121.        
  122.       
  123.      
  124.      
  125.       
  126.        
  127.         
  128.         
  129.          =
  130.         
  131.         
  132.          σ
  133.         
  134.         
  135.          (
  136.         
  137.         
  138.          x
  139.         
  140.         
  141.          )
  142.         
  143.         
  144.          +
  145.         
  146.         
  147.          σ
  148.         
  149.         
  150.          (
  151.         
  152.         
  153.          x
  154.         
  155.         
  156.          )
  157.         
  158.         
  159.          (
  160.         
  161.         
  162.          1
  163.         
  164.         
  165.          −
  166.         
  167.         
  168.          σ
  169.         
  170.         
  171.          (
  172.         
  173.         
  174.          x
  175.         
  176.         
  177.          )
  178.         
  179.         
  180.          )
  181.         
  182.         
  183.          x
  184.         
  185.        
  186.       
  187.      
  188.     
  189.    
  190.    
  191.      \begin{aligned} \frac{d}{dx}\text{Swish}(x) &= \frac{d}{dx} x \sigma(x) \\ &= \sigma(x) + \sigma(x)^\prime x \\ &= \sigma(x) + \sigma(x)(1 - \sigma(x)) x \end{aligned} 
  192.    
  193.   
  194.  dxd​Swish(x)​=dxd​xσ(x)=σ(x)+σ(x)′x=σ(x)+σ(x)(1−σ(x))x​

其导数的图像为:

Swish的导数图像

Swish的特性：

  • 无上边界:不像sigmoid和tanh函数，Swish没有上边界的，因为它避免了在接近零的梯度中缓慢的训练时间——像sigmoid或tanh这样的函数是有界的，因此需要小心地初始化网络，以保持在这些函数的界限内。
  • 曲线的平滑性:平滑性在泛化和优化中起着重要的作用。与ReLU不同，Swish是一个平滑的函数，这使得它对初始化权值和学习率不那么敏感。
  • 有下边界：这有助于增强正则化效果( x x x左侧慢慢接近于 0 0 0，一定程度过滤掉一部分信息，起到正则化的效果)。

Sigmoid

Sigmoid函数将输入压缩为区间

  1.     (
  2.    
  3.    
  4.     0
  5.    
  6.    
  7.     ,
  8.    
  9.    
  10.     1
  11.    
  12.    
  13.     )
  14.    
  15.   
  16.   
  17.    (0,1)
  18.   
  19.  
  20. (0,1)上的输出。因此，Sigmoid函数通常称为挤压函数(squashing function)：
  22.  
  23.   
  24.    
  25.     
  26.      
  27.      
  28.       
  29.        
  30.         sigmoid
  31.        
  32.        
  33.         (
  34.        
  35.        
  36.         x
  37.        
  38.        
  39.         )
  40.        
  41.        
  42.         =
  43.        
  44.        
  45.         
  46.          1
  47.         
  48.         
  49.          
  50.           1
  51.          
  52.          
  53.           +
  54.          
  55.          
  56.           exp
  57.          
  58.          
  59.           ⁡
  60.          
  61.          
  62.           (
  63.          
  64.          
  65.           −
  66.          
  67.          
  68.           x
  69.          
  70.          
  71.           )
  72.          
  73.         
  74.        
  75.       
  76.      
  77.      
  78.      
  79.       
  80.        (10)
  81.       
  82.      
  83.     
  84.    
  85.    
  86.      \text{sigmoid}(x) = \frac{1}{1 + \exp(-x)} \tag {10} 
  87.    
  88.   
  89.  sigmoid(x)=1+exp(−x)1​(10)

当我们想要将输出看成二分类的概率时，sigmoid此时最常用。然而，sigmoid在隐藏层中较少使用，它通常被更简单、更容易训练的ReLU所取代。

下面我们画出sigmoid函数。

  1. y = sigmoid(x)
  2. plot(x.numpy(), y.numpy(),'x','sigmoid(x)', random_fname=True, figsize=(5,2.5))

Sigmoid的函数图像

其导数计算如下：

  1.           d
  2.          
  3.          
  4.           
  5.            d
  6.           
  7.           
  8.            x
  9.           
  10.          
  11.         
  12.         
  13.          sigmoid
  14.         
  15.         
  16.          (
  17.         
  18.         
  19.          x
  20.         
  21.         
  22.          )
  23.         
  24.        
  25.       
  26.      
  27.      
  28.       
  29.        
  30.         
  31.         
  32.          =
  33.         
  34.         
  35.          
  36.           d
  37.          
  38.          
  39.           
  40.            d
  41.           
  42.           
  43.            x
  44.           
  45.          
  46.         
  47.         
  48.          
  49.           1
  50.          
  51.          
  52.           
  53.            1
  54.           
  55.           
  56.            +
  57.           
  58.           
  59.            
  60.             e
  61.            
  62.            
  63.             
  64.              −
  65.             
  66.             
  67.              x
  68.             
  69.            
  70.           
  71.          
  72.         
  73.        
  74.       
  75.      
  76.     
  77.     
  78.      
  79.       
  80.        
  81.       
  82.      
  83.      
  84.       
  85.        
  86.         
  87.         
  88.          =
  89.         
  90.         
  91.          
  92.           
  93.            0
  94.           
  95.           
  96.            ×
  97.           
  98.           
  99.            (
  100.           
  101.           
  102.            1
  103.           
  104.           
  105.            +
  106.           
  107.           
  108.            
  109.             e
  110.            
  111.            
  112.             
  113.              −
  114.             
  115.             
  116.              x
  117.             
  118.            
  119.           
  120.           
  121.            )
  122.           
  123.           
  124.            −
  125.           
  126.           
  127.            1
  128.           
  129.           
  130.            ×
  131.           
  132.           
  133.            (
  134.           
  135.           
  136.            1
  137.           
  138.           
  139.            +
  140.           
  141.           
  142.            
  143.             e
  144.            
  145.            
  146.             
  147.              −
  148.             
  149.             
  150.              x
  151.             
  152.            
  153.           
  154.           
  155.            
  156.             )
  157.            
  158.            
  159.             ′
  160.            
  161.           
  162.          
  163.          
  164.           
  165.            (
  166.           
  167.           
  168.            1
  169.           
  170.           
  171.            +
  172.           
  173.           
  174.            
  175.             e
  176.            
  177.            
  178.             
  179.              −
  180.             
  181.             
  182.              x
  183.             
  184.            
  185.           
  186.           
  187.            
  188.             )
  189.            
  190.            
  191.             2
  192.            
  193.           
  194.          
  195.         
  196.        
  197.       
  198.      
  199.     
  200.     
  201.      
  202.       
  203.        
  204.       
  205.      
  206.      
  207.       
  208.        
  209.         
  210.         
  211.          =
  212.         
  213.         
  214.          
  215.           
  216.            −
  217.           
  218.           
  219.            (
  220.           
  221.           
  222.            −
  223.           
  224.           
  225.            
  226.             e
  227.            
  228.            
  229.             
  230.              −
  231.             
  232.             
  233.              x
  234.             
  235.            
  236.           
  237.           
  238.            )
  239.           
  240.          
  241.          
  242.           
  243.            (
  244.           
  245.           
  246.            1
  247.           
  248.           
  249.            +
  250.           
  251.           
  252.            
  253.             e
  254.            
  255.            
  256.             
  257.              −
  258.             
  259.             
  260.              x
  261.             
  262.            
  263.           
  264.           
  265.            
  266.             )
  267.            
  268.            
  269.             2
  270.            
  271.           
  272.          
  273.         
  274.        
  275.       
  276.      
  277.     
  278.     
  279.      
  280.       
  281.        
  282.       
  283.      
  284.      
  285.       
  286.        
  287.         
  288.         
  289.          =
  290.         
  291.         
  292.          
  293.           
  294.            1
  295.           
  296.           
  297.            +
  298.           
  299.           
  300.            
  301.             e
  302.            
  303.            
  304.             
  305.              −
  306.             
  307.             
  308.              x
  309.             
  310.            
  311.           
  312.           
  313.            −
  314.           
  315.           
  316.            1
  317.           
  318.          
  319.          
  320.           
  321.            (
  322.           
  323.           
  324.            1
  325.           
  326.           
  327.            +
  328.           
  329.           
  330.            
  331.             e
  332.            
  333.            
  334.             
  335.              −
  336.             
  337.             
  338.              x
  339.             
  340.            
  341.           
  342.           
  343.            
  344.             )
  345.            
  346.            
  347.             2
  348.            
  349.           
  350.          
  351.         
  352.        
  353.       
  354.      
  355.     
  356.     
  357.      
  358.       
  359.        
  360.       
  361.      
  362.      
  363.       
  364.        
  365.         
  366.         
  367.          =
  368.         
  369.         
  370.          
  371.           1
  372.          
  373.          
  374.           
  375.            1
  376.           
  377.           
  378.            +
  379.           
  380.           
  381.            
  382.             e
  383.            
  384.            
  385.             
  386.              −
  387.             
  388.             
  389.              x
  390.             
  391.            
  392.           
  393.          
  394.         
  395.         
  396.          −
  397.         
  398.         
  399.          
  400.           1
  401.          
  402.          
  403.           
  404.            (
  405.           
  406.           
  407.            1
  408.           
  409.           
  410.            +
  411.           
  412.           
  413.            
  414.             e
  415.            
  416.            
  417.             
  418.              −
  419.             
  420.             
  421.              x
  422.             
  423.            
  424.           
  425.           
  426.            
  427.             )
  428.            
  429.            
  430.             2
  431.            
  432.           
  433.          
  434.         
  435.        
  436.       
  437.      
  438.     
  439.     
  440.      
  441.       
  442.        
  443.       
  444.      
  445.      
  446.       
  447.        
  448.         
  449.         
  450.          =
  451.         
  452.         
  453.          
  454.           1
  455.          
  456.          
  457.           
  458.            1
  459.           
  460.           
  461.            +
  462.           
  463.           
  464.            
  465.             e
  466.            
  467.            
  468.             
  469.              −
  470.             
  471.             
  472.              x
  473.             
  474.            
  475.           
  476.          
  477.         
  478.         
  479.          
  480.           (
  481.          
  482.          
  483.           1
  484.          
  485.          
  486.           −
  487.          
  488.          
  489.           
  490.            1
  491.           
  492.           
  493.            
  494.             1
  495.            
  496.            
  497.             +
  498.            
  499.            
  500.             
  501.              e
  502.             
  503.             
  504.              
  505.               −
  506.              
  507.              
  508.               x
  509.              
  510.             
  511.            
  512.           
  513.          
  514.          
  515.           )
  516.          
  517.         
  518.        
  519.       
  520.      
  521.     
  522.     
  523.      
  524.       
  525.        
  526.       
  527.      
  528.      
  529.       
  530.        
  531.         
  532.         
  533.          =
  534.         
  535.         
  536.          σ
  537.         
  538.         
  539.          (
  540.         
  541.         
  542.          x
  543.         
  544.         
  545.          )
  546.         
  547.         
  548.          (
  549.         
  550.         
  551.          1
  552.         
  553.         
  554.          −
  555.         
  556.         
  557.          σ
  558.         
  559.         
  560.          (
  561.         
  562.         
  563.          x
  564.         
  565.         
  566.          )
  567.         
  568.         
  569.          )
  570.         
  571.        
  572.       
  573.      
  574.     
  575.    
  576.    
  577.      \begin{aligned} \frac{d}{dx}\text{sigmoid}(x) &= \frac{d}{dx} \frac{1}{1 + e^{-x}} \\ &= \frac{0 \times (1+e^{-x}) - 1\times (1+e^{-x})^\prime}{(1 + e^{-x})^2} \\ &= \frac{- (-e^{-x})}{(1+e^{-x})^2} \\ &= \frac{1 + e^{-x} - 1}{(1+e^{-x})^2} \\ &= \frac{1}{1 + e^{-x}} - \frac{1}{(1 + e^{-x})^2} \\ &= \frac{1}{1 + e^{-x}} \left( 1 - \frac{1}{1 + e^{-x}} \right) \\ &= \sigma(x)(1 - \sigma(x)) \end{aligned} 
  578.    
  579.   
  580.  dxd​sigmoid(x)​=dxd​1+e−x1​=(1+e−x)20×(1+e−x)−1×(1+e−x)′​=(1+e−x)2−(−e−x)​=(1+e−x)21+e−x−1​=1+e−x1​−(1+e−x)21​=1+e−x1​(1−1+e−x1​)=σ(x)(1−σ(x))​

其导数的图像为：

Sigmoid的导数图像

在深层网络中，Sigmoid存在三个问题：

  • 饱和的神经元会让梯度消失，即在较大的正数或负数作为输入的时候，梯度就会变成零，使得神经元基本不能更新。
  • 其输出不是以 0 0 0为中心的，而是 0.5 0.5 0.5。我们知道 d L d w = d L d z x \frac{dL}{dw} = \frac{dL}{dz}x dwdL​=dzdL​x，在深层网络中，由于上一层使用的是Sigmoid激活函数，导致该层的输入都是正数。即该层 w w w的梯度取决于 d L d z \frac{dL}{dz} dzdL​，要么都是正的，要么都是负的，出现了zig zag问题。如下图所示，假设最佳更新路线是蓝线所示，由于zig zag问题，使其优化变成缓慢。
  • 指数计算耗时

zig zag更新路径解释，来自cs231n

Tanh

tanh是sigmoid函数的变种，它的函数值变成范围从

  1.     −
  2.    
  3.    
  4.     1
  5.    
  6.   
  7.   
  8.    -1
  9.   
  10.  
  11. −1到
  13.  
  14.   
  15.    
  16.     +
  17.    
  18.    
  19.     1
  20.    
  21.   
  22.   
  23.    +1
  24.   
  25.  
  26. +1，即变成了以
  28.  
  29.   
  30.    
  31.     0
  32.    
  33.   
  34.   
  35.    0
  36.   
  37.  
  38. 0为中心的。
  40.  
  41.   
  42.    
  43.     
  44.      
  45.      
  46.       
  47.        
  48.         tanh
  49.        
  50.        
  51.         ⁡
  52.        
  53.        
  54.         (
  55.        
  56.        
  57.         x
  58.        
  59.        
  60.         )
  61.        
  62.        
  63.         =
  64.        
  65.        
  66.         
  67.          
  68.           
  69.            e
  70.           
  71.           
  72.            x
  73.           
  74.          
  75.          
  76.           −
  77.          
  78.          
  79.           
  80.            e
  81.           
  82.           
  83.            
  84.             −
  85.            
  86.            
  87.             x
  88.            
  89.           
  90.          
  91.         
  92.         
  93.          
  94.           
  95.            e
  96.           
  97.           
  98.            x
  99.           
  100.          
  101.          
  102.           +
  103.          
  104.          
  105.           
  106.            e
  107.           
  108.           
  109.            
  110.             −
  111.            
  112.            
  113.             x
  114.            
  115.           
  116.          
  117.         
  118.        
  119.       
  120.      
  121.      
  122.      
  123.       
  124.        (11)
  125.       
  126.      
  127.     
  128.    
  129.    
  130.      \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \tag{11} 
  131.    
  132.   
  133.  tanh(x)=ex+e−xex−e−x​(11)

我们来画出该函数的图像：

  1. y = tanh(x)
  2. plot(x.numpy(), y.numpy(),'x','tanh(x)', random_fname=True, figsize=(5,2.5))

tanh函数图像

tanh函数具有平滑可微性，和将离群值映射到均值的良好性质。

为什么说tanh函数是sigmoid函数的变种呢？我们来推导一下：

  1.          tanh
  2.         
  3.         
  4.          ⁡
  5.         
  6.         
  7.          (
  8.         
  9.         
  10.          x
  11.         
  12.         
  13.          )
  14.         
  15.        
  16.       
  17.      
  18.      
  19.       
  20.        
  21.         
  22.         
  23.          =
  24.         
  25.         
  26.          
  27.           
  28.            
  29.             e
  30.            
  31.            
  32.             x
  33.            
  34.           
  35.           
  36.            −
  37.           
  38.           
  39.            
  40.             e
  41.            
  42.            
  43.             
  44.              −
  45.             
  46.             
  47.              x
  48.             
  49.            
  50.           
  51.          
  52.          
  53.           
  54.            
  55.             e
  56.            
  57.            
  58.             x
  59.            
  60.           
  61.           
  62.            +
  63.           
  64.           
  65.            
  66.             e
  67.            
  68.            
  69.             
  70.              −
  71.             
  72.             
  73.              x
  74.             
  75.            
  76.           
  77.          
  78.         
  79.        
  80.       
  81.      
  82.     
  83.     
  84.      
  85.       
  86.        
  87.       
  88.      
  89.      
  90.       
  91.        
  92.         
  93.         
  94.          =
  95.         
  96.         
  97.          
  98.           
  99.            
  100.             e
  101.            
  102.            
  103.             x
  104.            
  105.           
  106.           
  107.            +
  108.           
  109.           
  110.            
  111.             e
  112.            
  113.            
  114.             
  115.              −
  116.             
  117.             
  118.              x
  119.             
  120.            
  121.           
  122.           
  123.            −
  124.           
  125.           
  126.            
  127.             e
  128.            
  129.            
  130.             
  131.              −
  132.             
  133.             
  134.              x
  135.             
  136.            
  137.           
  138.           
  139.            −
  140.           
  141.           
  142.            
  143.             e
  144.            
  145.            
  146.             
  147.              −
  148.             
  149.             
  150.              x
  151.             
  152.            
  153.           
  154.          
  155.          
  156.           
  157.            
  158.             e
  159.            
  160.            
  161.             x
  162.            
  163.           
  164.           
  165.            +
  166.           
  167.           
  168.            
  169.             e
  170.            
  171.            
  172.             
  173.              −
  174.             
  175.             
  176.              x
  177.             
  178.            
  179.           
  180.          
  181.         
  182.        
  183.       
  184.      
  185.     
  186.     
  187.      
  188.       
  189.        
  190.       
  191.      
  192.      
  193.       
  194.        
  195.         
  196.         
  197.          =
  198.         
  199.         
  200.          1
  201.         
  202.         
  203.          +
  204.         
  205.         
  206.          
  207.           
  208.            −
  209.           
  210.           
  211.            2
  212.           
  213.           
  214.            
  215.             e
  216.            
  217.            
  218.             
  219.              −
  220.             
  221.             
  222.              x
  223.             
  224.            
  225.           
  226.          
  227.          
  228.           
  229.            
  230.             e
  231.            
  232.            
  233.             x
  234.            
  235.           
  236.           
  237.            +
  238.           
  239.           
  240.            
  241.             e
  242.            
  243.            
  244.             
  245.              −
  246.             
  247.             
  248.              x
  249.             
  250.            
  251.           
  252.          
  253.         
  254.        
  255.       
  256.      
  257.     
  258.     
  259.      
  260.       
  261.        
  262.       
  263.      
  264.      
  265.       
  266.        
  267.         
  268.         
  269.          =
  270.         
  271.         
  272.          1
  273.         
  274.         
  275.          −
  276.         
  277.         
  278.          
  279.           2
  280.          
  281.          
  282.           
  283.            
  284.             e
  285.            
  286.            
  287.             
  288.              2
  289.             
  290.             
  291.              x
  292.             
  293.            
  294.           
  295.           
  296.            +
  297.           
  298.           
  299.            1
  300.           
  301.          
  302.         
  303.        
  304.       
  305.      
  306.     
  307.     
  308.      
  309.       
  310.        
  311.       
  312.      
  313.      
  314.       
  315.        
  316.         
  317.         
  318.          =
  319.         
  320.         
  321.          1
  322.         
  323.         
  324.          −
  325.         
  326.         
  327.          2
  328.         
  329.         
  330.          σ
  331.         
  332.         
  333.          (
  334.         
  335.         
  336.          −
  337.         
  338.         
  339.          2
  340.         
  341.         
  342.          x
  343.         
  344.         
  345.          )
  346.         
  347.        
  348.       
  349.      
  350.     
  351.     
  352.      
  353.       
  354.        
  355.       
  356.      
  357.      
  358.       
  359.        
  360.         
  361.         
  362.          =
  363.         
  364.         
  365.          1
  366.         
  367.         
  368.          −
  369.         
  370.         
  371.          2
  372.         
  373.         
  374.          (
  375.         
  376.         
  377.          1
  378.         
  379.         
  380.          −
  381.         
  382.         
  383.          σ
  384.         
  385.         
  386.          (
  387.         
  388.         
  389.          2
  390.         
  391.         
  392.          x
  393.         
  394.         
  395.          )
  396.         
  397.         
  398.          )
  399.         
  400.        
  401.       
  402.      
  403.     
  404.     
  405.      
  406.       
  407.        
  408.       
  409.      
  410.      
  411.       
  412.        
  413.         
  414.         
  415.          =
  416.         
  417.         
  418.          1
  419.         
  420.         
  421.          −
  422.         
  423.         
  424.          2
  425.         
  426.         
  427.          +
  428.         
  429.         
  430.          2
  431.         
  432.         
  433.          σ
  434.         
  435.         
  436.          (
  437.         
  438.         
  439.          2
  440.         
  441.         
  442.          x
  443.         
  444.         
  445.          )
  446.         
  447.        
  448.       
  449.      
  450.     
  451.     
  452.      
  453.       
  454.        
  455.       
  456.      
  457.      
  458.       
  459.        
  460.         
  461.         
  462.          =
  463.         
  464.         
  465.          2
  466.         
  467.         
  468.          σ
  469.         
  470.         
  471.          (
  472.         
  473.         
  474.          2
  475.         
  476.         
  477.          x
  478.         
  479.         
  480.          )
  481.         
  482.         
  483.          −
  484.         
  485.         
  486.          1
  487.         
  488.        
  489.       
  490.      
  491.     
  492.    
  493.    
  494.      \begin{aligned} \tanh(x) &= \frac{e^x - e^{-x}}{e^x + e^{-x}} \\ &= \frac{e^x + e^{-x} - e^{-x} - e^{-x} }{e^x + e^{-x}} \\ &= 1 + \frac{-2e^{-x}}{e^x + e^{-x}} \\ &= 1 - \frac{2}{e^{2x}+ 1}\\ &= 1 - 2\sigma(-2x) \\ &= 1 - 2(1 - \sigma(2x)) \\ &= 1 - 2 + 2\sigma(2x) \\ &= 2\sigma(2x) - 1 \end{aligned} 
  495.    
  496.   
  497.  tanh(x)​=ex+e−xex−e−x​=ex+e−xex+e−x−e−x−e−x​=1+ex+e−x−2e−x​=1−e2x+12​=1−2σ(−2x)=1−2(1−σ(2x))=1−2+2σ(2x)=2σ(2x)−1​

因此，我们可以看到tanh只是sigmoid函数的缩放版本。

tanh函数的导数是：

  1.           d
  2.          
  3.          
  4.           
  5.            d
  6.           
  7.           
  8.            x
  9.           
  10.          
  11.         
  12.         
  13.          tanh
  14.         
  15.         
  16.          ⁡
  17.         
  18.         
  19.          (
  20.         
  21.         
  22.          x
  23.         
  24.         
  25.          )
  26.         
  27.        
  28.       
  29.      
  30.      
  31.       
  32.        
  33.         
  34.         
  35.          =
  36.         
  37.         
  38.          
  39.           d
  40.          
  41.          
  42.           
  43.            d
  44.           
  45.           
  46.            x
  47.           
  48.          
  49.         
  50.         
  51.          
  52.           
  53.            
  54.             e
  55.            
  56.            
  57.             x
  58.            
  59.           
  60.           
  61.            −
  62.           
  63.           
  64.            
  65.             e
  66.            
  67.            
  68.             
  69.              −
  70.             
  71.             
  72.              x
  73.             
  74.            
  75.           
  76.          
  77.          
  78.           
  79.            
  80.             e
  81.            
  82.            
  83.             x
  84.            
  85.           
  86.           
  87.            +
  88.           
  89.           
  90.            
  91.             e
  92.            
  93.            
  94.             
  95.              −
  96.             
  97.             
  98.              x
  99.             
  100.            
  101.           
  102.          
  103.         
  104.        
  105.       
  106.      
  107.     
  108.     
  109.      
  110.       
  111.        
  112.       
  113.      
  114.      
  115.       
  116.        
  117.         
  118.         
  119.          =
  120.         
  121.         
  122.          
  123.           
  124.            (
  125.           
  126.           
  127.            
  128.             e
  129.            
  130.            
  131.             x
  132.            
  133.           
  134.           
  135.            −
  136.           
  137.           
  138.            
  139.             e
  140.            
  141.            
  142.             
  143.              −
  144.             
  145.             
  146.              x
  147.             
  148.            
  149.           
  150.           
  151.            
  152.             )
  153.            
  154.            
  155.             ′
  156.            
  157.           
  158.           
  159.            (
  160.           
  161.           
  162.            
  163.             e
  164.            
  165.            
  166.             x
  167.            
  168.           
  169.           
  170.            +
  171.           
  172.           
  173.            
  174.             e
  175.            
  176.            
  177.             
  178.              −
  179.             
  180.             
  181.              x
  182.             
  183.            
  184.           
  185.           
  186.            )
  187.           
  188.           
  189.            −
  190.           
  191.           
  192.            (
  193.           
  194.           
  195.            
  196.             e
  197.            
  198.            
  199.             x
  200.            
  201.           
  202.           
  203.            −
  204.           
  205.           
  206.            
  207.             e
  208.            
  209.            
  210.             
  211.              −
  212.             
  213.             
  214.              x
  215.             
  216.            
  217.           
  218.           
  219.            )
  220.           
  221.           
  222.            (
  223.           
  224.           
  225.            
  226.             e
  227.            
  228.            
  229.             x
  230.            
  231.           
  232.           
  233.            +
  234.           
  235.           
  236.            
  237.             e
  238.            
  239.            
  240.             
  241.              −
  242.             
  243.             
  244.              x
  245.             
  246.            
  247.           
  248.           
  249.            
  250.             )
  251.            
  252.            
  253.             ′
  254.            
  255.           
  256.          
  257.          
  258.           
  259.            (
  260.           
  261.           
  262.            
  263.             e
  264.            
  265.            
  266.             x
  267.            
  268.           
  269.           
  270.            +
  271.           
  272.           
  273.            
  274.             e
  275.            
  276.            
  277.             
  278.              −
  279.             
  280.             
  281.              x
  282.             
  283.            
  284.           
  285.           
  286.            
  287.             )
  288.            
  289.            
  290.             2
  291.            
  292.           
  293.          
  294.         
  295.        
  296.       
  297.      
  298.     
  299.     
  300.      
  301.       
  302.        
  303.       
  304.      
  305.      
  306.       
  307.        
  308.         
  309.         
  310.          =
  311.         
  312.         
  313.          
  314.           
  315.            (
  316.           
  317.           
  318.            
  319.             e
  320.            
  321.            
  322.             x
  323.            
  324.           
  325.           
  326.            +
  327.           
  328.           
  329.            
  330.             e
  331.            
  332.            
  333.             
  334.              −
  335.             
  336.             
  337.              x
  338.             
  339.            
  340.           
  341.           
  342.            
  343.             )
  344.            
  345.            
  346.             2
  347.            
  348.           
  349.           
  350.            −
  351.           
  352.           
  353.            (
  354.           
  355.           
  356.            
  357.             e
  358.            
  359.            
  360.             x
  361.            
  362.           
  363.           
  364.            −
  365.           
  366.           
  367.            
  368.             e
  369.            
  370.            
  371.             
  372.              −
  373.             
  374.             
  375.              x
  376.             
  377.            
  378.           
  379.           
  380.            
  381.             )
  382.            
  383.            
  384.             2
  385.            
  386.           
  387.          
  388.          
  389.           
  390.            (
  391.           
  392.           
  393.            
  394.             e
  395.            
  396.            
  397.             x
  398.            
  399.           
  400.           
  401.            +
  402.           
  403.           
  404.            
  405.             e
  406.            
  407.            
  408.             
  409.              −
  410.             
  411.             
  412.              x
  413.             
  414.            
  415.           
  416.           
  417.            
  418.             )
  419.            
  420.            
  421.             2
  422.            
  423.           
  424.          
  425.         
  426.        
  427.       
  428.      
  429.     
  430.     
  431.      
  432.       
  433.        
  434.       
  435.      
  436.      
  437.       
  438.        
  439.         
  440.         
  441.          =
  442.         
  443.         
  444.          1
  445.         
  446.         
  447.          −
  448.         
  449.         
  450.          
  451.           
  452.            (
  453.           
  454.           
  455.            
  456.             
  457.              
  458.               e
  459.              
  460.              
  461.               x
  462.              
  463.             
  464.             
  465.              −
  466.             
  467.             
  468.              
  469.               e
  470.              
  471.              
  472.               
  473.                −
  474.               
  475.               
  476.                x
  477.               
  478.              
  479.             
  480.            
  481.            
  482.             
  483.              
  484.               e
  485.              
  486.              
  487.               x
  488.              
  489.             
  490.             
  491.              +
  492.             
  493.             
  494.              
  495.               e
  496.              
  497.              
  498.               
  499.                −
  500.               
  501.               
  502.                x
  503.               
  504.              
  505.             
  506.            
  507.           
  508.           
  509.            )
  510.           
  511.          
  512.          
  513.           2
  514.          
  515.         
  516.        
  517.       
  518.      
  519.     
  520.     
  521.      
  522.       
  523.        
  524.       
  525.      
  526.      
  527.       
  528.        
  529.         
  530.         
  531.          =
  532.         
  533.         
  534.          1
  535.         
  536.         
  537.          −
  538.         
  539.         
  540.          
  541.           
  542.            tanh
  543.           
  544.           
  545.            ⁡
  546.           
  547.          
  548.          
  549.           2
  550.          
  551.         
  552.         
  553.          (
  554.         
  555.         
  556.          x
  557.         
  558.         
  559.          )
  560.         
  561.        
  562.       
  563.      
  564.     
  565.    
  566.    
  567.      \begin{aligned} \frac{d}{dx}\tanh(x) &= \frac{d}{dx} \frac{e^x - e^{-x}}{e^x + e^{-x}} \\ &= \frac{(e^x - e^{-x})^\prime(e^x + e^{-x}) -(e^x - e^{-x})(e^x + e^{-x})^\prime}{(e^x + e^{-x})^2} \\ &= \frac{(e^x + e^{-x})^2 - (e^x - e^{-x})^2}{(e^x + e^{-x})^2} \\ &= 1 - \left ( \frac{e^x - e^{-x}}{e^x + e^{-x}} \right)^2 \\ &= 1 - \tanh^2(x) \end{aligned} 
  568.    
  569.   
  570.  dxd​tanh(x)​=dxd​ex+e−xex−e−x​=(ex+e−x)2(ex−e−x)′(ex+e−x)−(ex−e−x)(ex+e−x)′​=(ex+e−x)2(ex+e−x)2−(ex−e−x)2​=1−(ex+e−xex−e−x​)2=1−tanh2(x)​

其中

  1.      d
  2.     
  3.     
  4.      
  5.       d
  6.      
  7.      
  8.       x
  9.      
  10.     
  11.    
  12.    
  13.     
  14.      e
  15.     
  16.     
  17.      x
  18.     
  19.    
  20.    
  21.     =
  22.    
  23.    
  24.     
  25.      e
  26.     
  27.     
  28.      x
  29.     
  30.    
  31.   
  32.   
  33.    \frac{d}{dx} e^x = e^x
  34.   
  35.  
  36. dxd​ex=ex；
  38.  
  39.   
  40.    
  41.     
  42.      d
  43.     
  44.     
  45.      
  46.       d
  47.      
  48.      
  49.       x
  50.      
  51.     
  52.    
  53.    
  54.     
  55.      e
  56.     
  57.     
  58.      
  59.       −
  60.      
  61.      
  62.       x
  63.      
  64.     
  65.    
  66.    
  67.     =
  68.    
  69.    
  70.     −
  71.    
  72.    
  73.     
  74.      e
  75.     
  76.     
  77.      
  78.       −
  79.      
  80.      
  81.       x
  82.      
  83.     
  84.    
  85.   
  86.   
  87.    \frac{d}{dx}e^{-x} = - e^{-x}
  88.   
  89.  
  90. dxd​e−x=−e−x

其导数图像如下所示：

tanh的导数图像

可以看到，当输入接近于

  1.     0
  2.    
  3.   
  4.   
  5.    0
  6.   
  7.  
  8. 0时，tanh函数的导数接近于最大值
  10.  
  11.   
  12.    
  13.     1
  14.    
  15.   
  16.   
  17.    1
  18.   
  19.  
  20. 1。而输入在任一方向上越远离
  22.  
  23.   
  24.    
  25.     0
  26.    
  27.   
  28.   
  29.    0
  30.   
  31.  
  32. 0点，导数越接近
  34.  
  35.   
  36.    
  37.     0
  38.    
  39.   
  40.   
  41.    0
  42.   
  43.  
  44. 0。

Tanh的缺点类似Sigmoid，不过它是以

  1.     0
  2.    
  3.   
  4.   
  5.    0
  6.   
  7.  
  8. 0为中心的，避免了zig zag问题。

如何选择激活函数

我们看了这么多激活函数，到底要如何选择呢？

在深层网络中，首先要尝试ReLU，它具有速度快的优点，如果效果欠佳；

那么尝试Leaky ReLU；

或者tanh这种以零为中心的；

另外，在RNN中常用sigmoid或tanh，作为门控或概率值。

完整代码

完整代码笔者上传到了程序员最大交友网站上去了，地址: 👉 https://github.com/nlp-greyfoss/metagrad

References

  1. DIVE INTO DEEP LEARNING
  2. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
标签： 深度学习 人工智能 python
本文转载自: https://blog.csdn.net/yjw123456/article/details/122775512
版权归原作者 愤怒的可乐 所有， 如有侵权，请联系我们删除。
登录后发布评论

“从零实现深度学习框架&mdash;&mdash;神经元与常见激活函数”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？