0
0

深入理解深度学习——正则化（Regularization）：正则化和欠约束问题

分类目录：《深入理解深度学习》总目录

在某些情况下，为了正确定义机器学习问题，正则化是必要的。机器学习中许多线性模型，包括线性回归和PCA，都依赖于对矩阵 

  1.       X 
  2.      
  3.     
  4.       T 
  5.      
  6.     
  7.    
  8.      X 
  9.     
  10.    
  11.   
  12.     X^TX 
  13.    
  14.   
  15. XTX求逆。只要 
  16.  
  17.   
  18.    
  19.     
  20.     
  21.       X 
  22.      
  23.     
  24.       T 
  25.      
  26.     
  27.    
  28.      X 
  29.     
  30.    
  31.   
  32.     X^TX 
  33.    
  34.   
  35. XTX是奇异的，这些方法就会失效。当数据生成分布在一些方向上确实没有差异时，或因为例子较少（即相对输入特征的维数来说）而在一些方向上没有观察到方差时，这个矩阵就是奇异的。在这种情况下，正则化的许多形式对应求逆 
  36.  
  37.   
  38.    
  39.     
  40.     
  41.       X 
  42.      
  43.     
  44.       T 
  45.      
  46.     
  47.    
  48.      X 
  49.     
  50.    
  51.      + 
  52.     
  53.    
  54.      α 
  55.     
  56.    
  57.      I 
  58.     
  59.    
  60.   
  61.     X^TX+\alpha I 
  62.    
  63.   
  64. XTX+αI。这个正则化矩阵可以保证是可逆的。

相关矩阵可逆时，这些线性问题有闭式解。没有闭式解的问题也可能是欠定的。一个例子是应用于线性可分问题的逻辑回归。如果权重向量 

  1.      w 
  2.     
  3.    
  4.   
  5.     w 
  6.    
  7.   
  8. w能够实现完美分类，那么 
  9.  
  10.   
  11.    
  12.    
  13.      2 
  14.     
  15.    
  16.      w 
  17.     
  18.    
  19.   
  20.     2w 
  21.    
  22.   
  23. 2w也会以更高似然实现完美分类。类似随机梯度下降的迭代优化算法将持续增加 
  24.  
  25.   
  26.    
  27.    
  28.      w 
  29.     
  30.    
  31.   
  32.     w 
  33.    
  34.   
  35. w的大小，理论上永远不会停止。在实践中，数值实现的梯度下降最终会达到导致数值溢出的超大权重，此时的行为将取决于程序员如何处理这些不是真正数字的值。

大多数形式的正则化能够保证应用于欠定问题的迭代方法收敛。例如，当似然的斜率等于权重衰减的系数时，权重衰减将阻止梯度下降继续增加权重的大小。使用正则化解决欠定问题的想法不局限于机器学习。同样的想法在几个基本线性代数问题中也非常有用。

正如我们在《机器学习中的数学——Moore-Penrose伪逆》看到的，我们可以使用Moore-Penrose求解欠定线性方程。回想 

  1.      X 
  2.     
  3.    
  4.   
  5.     X 
  6.    
  7.   
  8. X伪逆 
  9.  
  10.   
  11.    
  12.     
  13.     
  14.       X 
  15.      
  16.     
  17.       + 
  18.      
  19.     
  20.    
  21.   
  22.     X^+ 
  23.    
  24.   
  25. X+的一个定义：
  27.   
  28.    
  29.     
  30.      
  31.      
  32.        X 
  33.       
  34.      
  35.        + 
  36.       
  37.      
  38.     
  39.       = 
  40.      
  41.      
  42.       
  43.       
  44.         lim 
  45.        
  46.       
  47.         ⁡ 
  48.        
  49.       
  50.       
  51.       
  52.         α 
  53.        
  54.       
  55.         ↘ 
  56.        
  57.       
  58.         0 
  59.        
  60.       
  61.      
  62.     
  63.       ( 
  64.      
  65.      
  66.      
  67.        X 
  68.       
  69.      
  70.        T 
  71.       
  72.      
  73.     
  74.       X 
  75.      
  76.     
  77.       + 
  78.      
  79.     
  80.       α 
  81.      
  82.     
  83.       I 
  84.      
  85.      
  86.      
  87.        ) 
  88.       
  89.       
  90.       
  91.         − 
  92.        
  93.       
  94.         1 
  95.        
  96.       
  97.      
  98.      
  99.      
  100.        X 
  101.       
  102.      
  103.        T 
  104.       
  105.      
  106.     
  107.    
  108.      X^+=\lim_{\alpha\searrow0}(X^TX+\alpha I)^{-1}X^T 
  109.     
  110.    
  111.  X+=α↘0lim​(XTX+αI)−1XT

现在我们可以将《机器学习中的数学——Moore-Penrose伪逆》看作进行具有权重衰减的线性回归。具体来说，当正则化系数趋向 

  1.      0 
  2.     
  3.    
  4.   
  5.     0 
  6.    
  7.   
  8. 0时，式 
  9.  
  10.   
  11.    
  12.     
  13.     
  14.       X 
  15.      
  16.     
  17.       + 
  18.      
  19.     
  20.    
  21.      = 
  22.     
  23.     
  24.      
  25.      
  26.        lim 
  27.       
  28.      
  29.        ⁡ 
  30.       
  31.      
  32.      
  33.      
  34.        α 
  35.       
  36.      
  37.        ↘ 
  38.       
  39.      
  40.        0 
  41.       
  42.      
  43.     
  44.    
  45.      ( 
  46.     
  47.     
  48.     
  49.       X 
  50.      
  51.     
  52.       T 
  53.      
  54.     
  55.    
  56.      X 
  57.     
  58.    
  59.      + 
  60.     
  61.    
  62.      α 
  63.     
  64.    
  65.      I 
  66.     
  67.     
  68.     
  69.       ) 
  70.      
  71.      
  72.      
  73.        − 
  74.       
  75.      
  76.        1 
  77.       
  78.      
  79.     
  80.     
  81.     
  82.       X 
  83.      
  84.     
  85.       T 
  86.      
  87.     
  88.    
  89.   
  90.     X^+=\lim_{\alpha\searrow0}(X^TX+\alpha I)^{-1}X^T 
  91.    
  92.   
  93. X+=limα↘0​(XTX+αI)−1XT是式 
  94.  
  95.   
  96.    
  97.    
  98.      ( 
  99.     
  100.     
  101.     
  102.       X 
  103.      
  104.     
  105.       T 
  106.      
  107.     
  108.    
  109.      X 
  110.     
  111.    
  112.      + 
  113.     
  114.    
  115.      α 
  116.     
  117.    
  118.      I 
  119.     
  120.     
  121.     
  122.       ) 
  123.      
  124.      
  125.      
  126.        − 
  127.       
  128.      
  129.        1 
  130.       
  131.      
  132.     
  133.     
  134.     
  135.       X 
  136.      
  137.     
  138.       T 
  139.      
  140.     
  141.    
  142.      y 
  143.     
  144.    
  145.   
  146.     (X^TX+\alpha I)^{-1}X^Ty 
  147.    
  148.   
  149. (XTX+αI)−1XTy的极限。因此，我们可以将伪逆解释为使用正则化来稳定欠定问题。

参考文献：
[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015
[2] Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola. Dive Into Deep Learning[J]. arXiv preprint arXiv:2106.11342, 2021.

标签： 人工智能 机器学习 深度学习
本文转载自: https://blog.csdn.net/hy592070616/article/details/130629080
版权归原作者 von Neumann 所有， 如有侵权，请联系我们删除。
登录后发布评论

“深入理解深度学习——正则化（Regularization）：正则化和欠约束问题”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。