0
0

【机器学习】解开反向传播算法的奥秘

鑫宝Code

🌈个人主页: 鑫宝Code
🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 **
​💫个人格言: "如无必要，勿增实体" **

文章目录

解开反向传播算法的奥秘

在深度学习领域,反向传播算法(Back Propagation)是训练神经网络的核心算法之一。它通过计算损失函数关于网络权重的梯度,并利用梯度下降法更新权重,从而实现了神经网络的有效训练。反向传播算法的出现,解决了传统神经网络难以训练的瓶颈,推动了深度学习的蓬勃发展。本文将深入探讨反向传播算法的原理、数学推导,以及在实践中的应用,帮助读者更好地理解和掌握这一重要算法。
在这里插入图片描述

反向传播算法的概述

在训练神经网络时,我们需要不断调整网络的权重和偏置参数,使得网络在训练数据上的输出值尽可能接近期望的目标值。这个过程可以看作是一个优化问题,目标是最小化一个损失函数(Loss Function)。

反向传播算法就是用于计算损失函数关于网络参数的梯度的算法。它由两个核心步骤组成:

  1. 前向传播(Forward Propagation):输入数据经过神经网络的层层传递,计算出网络的输出值。
  2. 反向传播(Back Propagation):根据网络输出值和目标值计算损失函数,并计算损失函数关于网络参数的梯度,用于更新参数。

通过不断重复这两个步骤,神经网络的参数就会不断被优化,使得网络在训练数据上的输出值逐渐接近期望的目标值。

反向传播算法的数学推导

为了更好地理解反向传播算法,让我们通过数学推导来深入探讨其原理。我们将以一个简单的单层神经网络为例,推导反向传播算法的具体计算过程。

假设我们有一个单层神经网络,输入为 

  1.      x 
  2.     
  3.    
  4.      = 
  5.     
  6.    
  7.      ( 
  8.     
  9.     
  10.     
  11.       x 
  12.      
  13.     
  14.       1 
  15.      
  16.     
  17.    
  18.      , 
  19.     
  20.     
  21.     
  22.       x 
  23.      
  24.     
  25.       2 
  26.      
  27.     
  28.    
  29.      , 
  30.     
  31.    
  32.      … 
  33.     
  34.    
  35.      , 
  36.     
  37.     
  38.     
  39.       x 
  40.      
  41.     
  42.       n 
  43.      
  44.     
  45.    
  46.      ) 
  47.     
  48.    
  49.   
  50.     \mathbf{x} = (x_1, x_2, \ldots, x_n) 
  51.    
  52.   
  53. x=(x1​,x2​,…,xn​),权重为 
  54.  
  55.   
  56.    
  57.    
  58.      W 
  59.     
  60.    
  61.      = 
  62.     
  63.    
  64.      ( 
  65.     
  66.     
  67.     
  68.       w 
  69.      
  70.     
  71.       1 
  72.      
  73.     
  74.    
  75.      , 
  76.     
  77.     
  78.     
  79.       w 
  80.      
  81.     
  82.       2 
  83.      
  84.     
  85.    
  86.      , 
  87.     
  88.    
  89.      … 
  90.     
  91.    
  92.      , 
  93.     
  94.     
  95.     
  96.       w 
  97.      
  98.     
  99.       n 
  100.      
  101.     
  102.    
  103.      ) 
  104.     
  105.    
  106.   
  107.     \mathbf{W} = (w_1, w_2, \ldots, w_n) 
  108.    
  109.   
  110. W=(w1​,w2​,…,wn​),偏置为 
  111.  
  112.   
  113.    
  114.    
  115.      b 
  116.     
  117.    
  118.   
  119.     b 
  120.    
  121.   
  122. b,激活函数为 
  123.  
  124.   
  125.    
  126.    
  127.      f 
  128.     
  129.    
  130.   
  131.     f 
  132.    
  133.   
  134. f,输出为 
  135.  
  136.   
  137.    
  138.    
  139.      y 
  140.     
  141.    
  142.   
  143.     y 
  144.    
  145.   
  146. y。我们的目标是最小化损失函数 
  147.  
  148.   
  149.    
  150.    
  151.      L 
  152.     
  153.    
  154.      ( 
  155.     
  156.    
  157.      y 
  158.     
  159.    
  160.      , 
  161.     
  162.    
  163.      t 
  164.     
  165.    
  166.      ) 
  167.     
  168.    
  169.   
  170.     L(y, t) 
  171.    
  172.   
  173. L(y,t),其中 
  174.  
  175.   
  176.    
  177.    
  178.      t 
  179.     
  180.    
  181.   
  182.     t 
  183.    
  184.   
  185. t是期望的目标值。
1. 前向传播

在这里插入图片描述

在前向传播阶段,我们计算神经网络的输出值 

  1.      y 
  2.     
  3.    
  4.   
  5.     y 
  6.    
  7.   
  8. y:
  11.   
  12.    
  13.     
  14.     
  15.       y 
  16.      
  17.     
  18.       = 
  19.      
  20.     
  21.       f 
  22.      
  23.      
  24.      
  25.        ( 
  26.       
  27.       
  28.       
  29.         ∑ 
  30.        
  31.        
  32.        
  33.          i 
  34.         
  35.        
  36.          = 
  37.         
  38.        
  39.          1 
  40.         
  41.        
  42.       
  43.         n 
  44.        
  45.       
  46.       
  47.       
  48.         w 
  49.        
  50.       
  51.         i 
  52.        
  53.       
  54.       
  55.       
  56.         x 
  57.        
  58.       
  59.         i 
  60.        
  61.       
  62.      
  63.        + 
  64.       
  65.      
  66.        b 
  67.       
  68.      
  69.        ) 
  70.       
  71.      
  72.     
  73.    
  74.      y = f\left(\sum_{i=1}^{n} w_i x_i + b\right) 
  75.     
  76.    
  77.  y=f(i=1∑n​wi​xi​+b)
2. 计算损失函数

接下来,我们计算损失函数 

  1.      L 
  2.     
  3.    
  4.      ( 
  5.     
  6.    
  7.      y 
  8.     
  9.    
  10.      , 
  11.     
  12.    
  13.      t 
  14.     
  15.    
  16.      ) 
  17.     
  18.    
  19.   
  20.     L(y, t) 
  21.    
  22.   
  23. L(y,t)。常见的损失函数包括均方误差(Mean Squared Error, MSE)和交叉熵损失函数(Cross-Entropy Loss)等。
3. 计算梯度

为了更新网络参数,我们需要计算损失函数关于权重 

  1.      W 
  2.     
  3.    
  4.   
  5.     \mathbf{W} 
  6.    
  7.   
  8. W和偏置 
  9.  
  10.   
  11.    
  12.    
  13.      b 
  14.     
  15.    
  16.   
  17.     b 
  18.    
  19.   
  20. b的梯度。根据链式法则,我们有:
  23.   
  24.    
  25.     
  26.      
  27.       
  28.       
  29.         ∂ 
  30.        
  31.       
  32.         L 
  33.        
  34.       
  35.       
  36.       
  37.         ∂ 
  38.        
  39.        
  40.        
  41.          w 
  42.         
  43.        
  44.          i 
  45.         
  46.        
  47.       
  48.      
  49.     
  50.       = 
  51.      
  52.      
  53.       
  54.       
  55.         ∂ 
  56.        
  57.       
  58.         L 
  59.        
  60.       
  61.       
  62.       
  63.         ∂ 
  64.        
  65.       
  66.         y 
  67.        
  68.       
  69.      
  70.     
  71.       ⋅ 
  72.      
  73.      
  74.       
  75.       
  76.         ∂ 
  77.        
  78.       
  79.         y 
  80.        
  81.       
  82.       
  83.       
  84.         ∂ 
  85.        
  86.        
  87.        
  88.          w 
  89.         
  90.        
  91.          i 
  92.         
  93.        
  94.       
  95.      
  96.     
  97.    
  98.      \frac{\partial L}{\partial w_i} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial w_i} 
  99.     
  100.    
  101.  ∂wi​∂L​=∂y∂L​⋅∂wi​∂y​
  104.   
  105.    
  106.     
  107.      
  108.       
  109.       
  110.         ∂ 
  111.        
  112.       
  113.         L 
  114.        
  115.       
  116.       
  117.       
  118.         ∂ 
  119.        
  120.       
  121.         b 
  122.        
  123.       
  124.      
  125.     
  126.       = 
  127.      
  128.      
  129.       
  130.       
  131.         ∂ 
  132.        
  133.       
  134.         L 
  135.        
  136.       
  137.       
  138.       
  139.         ∂ 
  140.        
  141.       
  142.         y 
  143.        
  144.       
  145.      
  146.     
  147.       ⋅ 
  148.      
  149.      
  150.       
  151.       
  152.         ∂ 
  153.        
  154.       
  155.         y 
  156.        
  157.       
  158.       
  159.       
  160.         ∂ 
  161.        
  162.       
  163.         b 
  164.        
  165.       
  166.      
  167.     
  168.    
  169.      \frac{\partial L}{\partial b} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial b} 
  170.     
  171.    
  172.  ∂b∂L​=∂y∂L​⋅∂b∂y​

其中,

  1.         ∂ 
  2.        
  3.       
  4.         y 
  5.        
  6.       
  7.       
  8.       
  9.         ∂ 
  10.        
  11.        
  12.        
  13.          w 
  14.         
  15.        
  16.          i 
  17.         
  18.        
  19.       
  20.      
  21.     
  22.       = 
  23.      
  24.      
  25.      
  26.        x 
  27.       
  28.      
  29.        i 
  30.       
  31.      
  32.      
  33.      
  34.        f 
  35.       
  36.      
  37.        ′ 
  38.       
  39.      
  40.     
  41.       ( 
  42.      
  43.     
  44.       net 
  45.      
  46.     
  47.       ) 
  48.      
  49.     
  50.    
  51.      \frac{\partial y}{\partial w_i} = x_i f'(\text{net}) 
  52.     
  53.    
  54.  ∂wi​∂y​=xi​f′(net)
  57.   
  58.    
  59.     
  60.      
  61.       
  62.       
  63.         ∂ 
  64.        
  65.       
  66.         y 
  67.        
  68.       
  69.       
  70.       
  71.         ∂ 
  72.        
  73.       
  74.         b 
  75.        
  76.       
  77.      
  78.     
  79.       = 
  80.      
  81.      
  82.      
  83.        f 
  84.       
  85.      
  86.        ′ 
  87.       
  88.      
  89.     
  90.       ( 
  91.      
  92.     
  93.       net 
  94.      
  95.     
  96.       ) 
  97.      
  98.     
  99.    
  100.      \frac{\partial y}{\partial b} = f'(\text{net}) 
  101.     
  102.    
  103.  ∂b∂y​=f′(net)

这里, 

  1.      net 
  2.     
  3.    
  4.      = 
  5.     
  6.     
  7.     
  8.       ∑ 
  9.      
  10.      
  11.      
  12.        i 
  13.       
  14.      
  15.        = 
  16.       
  17.      
  18.        1 
  19.       
  20.      
  21.     
  22.       n 
  23.      
  24.     
  25.     
  26.     
  27.       w 
  28.      
  29.     
  30.       i 
  31.      
  32.     
  33.     
  34.     
  35.       x 
  36.      
  37.     
  38.       i 
  39.      
  40.     
  41.    
  42.      + 
  43.     
  44.    
  45.      b 
  46.     
  47.    
  48.   
  49.     \text{net} = \sum_{i=1}^{n} w_i x_i + b 
  50.    
  51.   
  52. net=∑i=1n​wi​xi​+b,表示神经元的加权输入; 
  53.  
  54.   
  55.    
  56.     
  57.     
  58.       f 
  59.      
  60.     
  61.       ′ 
  62.      
  63.     
  64.    
  65.   
  66.     f' 
  67.    
  68.   
  69. f′是激活函数的导数。
4. 更新参数

最后,我们使用梯度下降法更新网络参数:

  1.        w 
  2.       
  3.      
  4.        i 
  5.       
  6.      
  7.     
  8.       ← 
  9.      
  10.      
  11.      
  12.        w 
  13.       
  14.      
  15.        i 
  16.       
  17.      
  18.     
  19.       − 
  20.      
  21.     
  22.       η 
  23.      
  24.      
  25.       
  26.       
  27.         ∂ 
  28.        
  29.       
  30.         L 
  31.        
  32.       
  33.       
  34.       
  35.         ∂ 
  36.        
  37.        
  38.        
  39.          w 
  40.         
  41.        
  42.          i 
  43.         
  44.        
  45.       
  46.      
  47.     
  48.    
  49.      w_i \leftarrow w_i - \eta \frac{\partial L}{\partial w_i} 
  50.     
  51.    
  52.  wi​←wi​−η∂wi​∂L​
  55.   
  56.    
  57.     
  58.     
  59.       b 
  60.      
  61.     
  62.       ← 
  63.      
  64.     
  65.       b 
  66.      
  67.     
  68.       − 
  69.      
  70.     
  71.       η 
  72.      
  73.      
  74.       
  75.       
  76.         ∂ 
  77.        
  78.       
  79.         L 
  80.        
  81.       
  82.       
  83.       
  84.         ∂ 
  85.        
  86.       
  87.         b 
  88.        
  89.       
  90.      
  91.     
  92.    
  93.      b \leftarrow b - \eta \frac{\partial L}{\partial b} 
  94.     
  95.    
  96.  b←b−η∂b∂L​

其中, 

  1.      η 
  2.     
  3.    
  4.   
  5.     \eta 
  6.    
  7.   
  8. η是学习率,控制了参数更新的步长。

通过不断重复前向传播和反向传播的过程,网络参数就会不断被优化,使得网络在训练数据上的输出值逐渐接近期望的目标值。

反向传播算法在深度神经网络中的应用

在这里插入图片描述

上述推导过程是针对单层神经网络的,对于深度神经网络,反向传播算法的计算过程会更加复杂。然而,其基本思想是相同的:计算损失函数关于每一层的参数的梯度,并利用梯度下降法更新参数。

在深度神经网络中,反向传播算法需要通过链式法则,逐层计算梯度,这个过程被称为"反向传播"。具体来说,我们从输出层开始,计算损失函数关于输出层参数的梯度;然后,沿着网络的反方向,逐层计算梯度,直到输入层。这个过程可以利用动态规划的思想,避免重复计算,从而提高计算效率。

在实践中,反向传播算法通常与一些优化技巧相结合,如momentum、RMSProp、Adam等,以加快收敛速度和提高训练效率。此外,还可以引入正则化技术,如L1/L2正则化、Dropout等,以防止过拟合。

反向传播算法的局限性和发展

尽管反向传播算法在深度学习领域取得了巨大成功,但它也存在一些局限性和挑战。

首先,反向传播算法依赖于梯度信息,因此对于存在梯度消失或梯度爆炸问题的深度神经网络,训练效果可能不佳。为了解决这个问题,研究人员提出了一些新型的优化算法,如LSTM、GRU等,以缓解梯度问题。

其次,反向传播算法的计算复杂度较高,尤其是对于大规模深度神经网络,训练过程可能需要消耗大量的计算资源。因此,提高反向传播算法的计算效率是一个重要的研究方向。

此外,反向传播算法也存在一些理论上的局限性,如无法解释神经网络的"黑箱"行为、无法处理非differentiable的函数等。为了解决这些问题,研究人员正在探索新型的机器学习范式,如强化学习、元学习等,以期突破反向传播算法的局限。

总结

反向传播算法是深度学习领域的核心算法之一,它通过计算损失函数关于网络参数的梯度,并利用梯度下降法更新参数,实现了神经网络的有效训练。本文详细介绍了反向传播算法的原理、数学推导,以及在深度神经网络中的应用。同时,也讨论了反向传播算法的局限性和发展方向。

虽然反向传播算法取得了巨大成功,但它并非万能。未来,随着机器学习技术的不断发展,必将会出现更加先进的训练算法,推动人工智能的进一步发展。让我们拭目以待,共同见证机器学习算法的新篇章!

End

标签： 机器学习 算法 人工智能
本文转载自: https://blog.csdn.net/qq_44214428/article/details/140592920
版权归原作者 鑫宝Code 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【机器学习】解开反向传播算法的奥秘”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。