0
0

机器学习强基计划8-1：图解主成分分析PCA算法(附Python实现)

目录

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖，由本人亲自从底层编写、测试与文章配套的各个经典算法，不依赖于现有库，可以大大加深对算法的理解。

🚀详情：机器学习强基计划(附几十种经典模型源码)

1 为什么要降维？

首先考虑单个特征的情形，假设在样本

  1.     x
  2.    
  3.   
  4.   
  5.    x
  6.   
  7.  
  8. x任意小邻域
  10.  
  11.   
  12.    
  13.     δ
  14.    
  15.   
  16.   
  17.    \delta
  18.   
  19.  
  20. δ内都存在样本，则称对样本空间进行了**密采样(dense sample)**。例如取
  22.  
  23.   
  24.    
  25.     δ
  26.    
  27.    
  28.     =
  29.    
  30.    
  31.     0.01
  32.    
  33.   
  34.   
  35.    \delta =0.01
  36.   
  37.  
  38. δ=0.01，则在归一化样本平均分布的情况下需要采样100个样本。

在这里插入图片描述
然而，机器学习任务中通常面临高维特征空间，若特征维数为40，则要实现密采样就需要

  1.     1
  2.    
  3.    
  4.     
  5.      0
  6.     
  7.     
  8.      80
  9.     
  10.    
  11.   
  12.   
  13.    10^{80}
  14.   
  15.  
  16. 1080个样本——相当于宇宙中基本粒子的总数。所以密采样在高维特征空间中无法实现，换言之，高维特征样本分布非常稀疏，给机器学习训练、算法采样优化带来了困难。

这种高维情形下机器学习任务产生严重障碍现象称为**维数灾难(curse of dimensionality)，维数灾难还会以指数级的规模造成计算复杂度上升、存储占用大等问题。缓解维数灾难的一个重要途径是降维(dimension reduction)**，因为样本数据往往以某种与学习任务密切相关的低维分布的形式，嵌入在高维空间内，如图所示。

在这里插入图片描述

所以降维的核心原理是通过某种数学变换将原始高维特征空间转变为一个更能体现数据本质特征的低维子空间，在这个子空间中样本密度大幅提高，计算复杂度大幅降低，机器学习任务更容易进行。常见的降维技术如表所示

在这里插入图片描述

2 主成分分析原理

**主成分分析(Principal Component Analysis, PCA)**限制样本在经过降维映射

  1.     W
  2.    
  3.   
  4.   
  5.    \boldsymbol{W}
  6.   
  7.  
  8. W得到的低维空间中具有最大可分性和特征最小相关性。
  • 最大可分性：指高维样本在低维超平面上的投影应尽可能远离，因为越本质的特征越能将样本区分开
  • 特征最小相关性：指量化样本属性的各个特征维度间应尽可能无关，因为特征间无关性越强构成的特征空间信息量越丰富。

满足这两个特性的特征在

  1. PCA

算法中称为主成分。下面开始算法分析

假设样本

  1.     X
  2.    
  3.   
  4.   
  5.    \boldsymbol{X}
  6.   
  7.  
  8. X经过中心化预处理，则其在低维超平面投影为
  10.  
  11.   
  12.    
  13.     
  14.      W
  15.     
  16.     
  17.      T
  18.     
  19.    
  20.    
  21.     X
  22.    
  23.   
  24.   
  25.    \boldsymbol{W}^T\boldsymbol{X}
  26.   
  27.  
  28. WTX，投影协方差矩阵
  30.  
  31.   
  32.    
  33.     Σ
  34.    
  35.    
  36.     =
  37.    
  38.    
  39.     
  40.      W
  41.     
  42.     
  43.      T
  44.     
  45.    
  46.    
  47.     
  48.      
  49.       
  50.        X
  51.       
  52.       
  53.        X
  54.       
  55.      
  56.     
  57.     
  58.      T
  59.     
  60.    
  61.    
  62.     W
  63.    
  64.   
  65.   
  66.    \boldsymbol{\varSigma }=\boldsymbol{W}^T\boldsymbol{XX}^T\boldsymbol{W}
  67.   
  68.  
  69. Σ=WTXXTW，其中
  71.  
  72.   
  73.    
  74.     W
  75.    
  76.    
  77.     =
  78.    
  79.    
  80.     
  81.      [
  82.     
  83.     
  84.      
  85.       
  86.        
  87.         
  88.          
  89.           w
  90.          
  91.          
  92.           1
  93.          
  94.         
  95.        
  96.       
  97.       
  98.        
  99.         
  100.          
  101.           w
  102.          
  103.          
  104.           2
  105.          
  106.         
  107.        
  108.       
  109.       
  110.        
  111.         
  112.          ⋯
  113.         
  114.        
  115.       
  116.       
  117.        
  118.         
  119.          
  120.           w
  121.          
  122.          
  123.           
  124.            d
  125.           
  126.           
  127.            ′
  128.           
  129.          
  130.         
  131.        
  132.       
  133.      
  134.     
  135.     
  136.      ]
  137.     
  138.    
  139.   
  140.   
  141.    \boldsymbol{W}=\left[ \begin{matrix} \boldsymbol{w}_1& \boldsymbol{w}_2& \cdots& \boldsymbol{w}_{d'}\\\end{matrix} \right]
  142.   
  143.  
  144. W=[w1​​w2​​⋯​wd′​​]为低维空间的单位正交基。
  • 考虑到最大可分性则应最大化 Σ \boldsymbol{\varSigma } Σ我们从协方差的物理意义上思考一下为什么协方差小同类样本就接近。如图所示，是同一个三维样本在两个二维平面的投影，可以看出协方差大的样本越细长分散，协方差小则反之。所以协方差小可以使样本更聚合，也即样本投影点尽可能接近。更多协方差相关的内容请参考：机器学习强基计划1-4：从协方差的角度详解线性判别分析原理+Python实现

在这里插入图片描述

  • 考虑到特征最小相关性则应最小化 Σ \boldsymbol{\varSigma } Σ的非对角线元素

综上所述，

  1. PCA

的优化目标为

  1.        max
  2.       
  3.       
  4.        ⁡
  5.       
  6.      
  7.      
  8.       W
  9.      
  10.     
  11.     
  12.      
  13.       t
  14.      
  15.      
  16.       r
  17.      
  18.     
  19.     
  20.      
  21.       (
  22.      
  23.      
  24.       
  25.        W
  26.       
  27.       
  28.        T
  29.       
  30.      
  31.      
  32.       
  33.        
  34.         
  35.          X
  36.         
  37.         
  38.          X
  39.         
  40.        
  41.       
  42.       
  43.        T
  44.       
  45.      
  46.      
  47.       W
  48.      
  49.      
  50.       )
  51.      
  52.       
  53.     
  54.      s
  55.     
  56.     
  57.      .
  58.     
  59.     
  60.      t
  61.     
  62.     
  63.      .
  64.     
  65.     
  66.      
  67.       W
  68.      
  69.      
  70.       T
  71.      
  72.     
  73.     
  74.      W
  75.     
  76.     
  77.      =
  78.     
  79.     
  80.      I
  81.     
  82.    
  83.    
  84.     \max _{\boldsymbol{W}}\mathrm{tr}\left( \boldsymbol{W}^T\boldsymbol{XX}^T\boldsymbol{W} \right) \,\,\mathrm{s}.\mathrm{t}. \boldsymbol{W}^T\boldsymbol{W}=\boldsymbol{I}
  85.    
  86.   
  87.  Wmax​tr(WTXXTW)s.t.WTW=I

设拉格朗日函数为

  1.          L
  2.         
  3.         
  4.          
  5.           (
  6.          
  7.          
  8.           W
  9.          
  10.          
  11.           ,
  12.          
  13.          
  14.           Θ
  15.          
  16.          
  17.           )
  18.          
  19.         
  20.        
  21.       
  22.      
  23.      
  24.       
  25.        
  26.         
  27.         
  28.          =
  29.         
  30.         
  31.          
  32.           t
  33.          
  34.          
  35.           r
  36.          
  37.         
  38.         
  39.          
  40.           (
  41.          
  42.          
  43.           
  44.            W
  45.           
  46.           
  47.            T
  48.           
  49.          
  50.          
  51.           
  52.            
  53.             
  54.              X
  55.             
  56.             
  57.              X
  58.             
  59.            
  60.           
  61.           
  62.            T
  63.           
  64.          
  65.          
  66.           W
  67.          
  68.          
  69.           )
  70.          
  71.         
  72.         
  73.          +
  74.         
  75.         
  76.          
  77.           <
  78.          
  79.          
  80.           Θ
  81.          
  82.          
  83.           ,
  84.          
  85.          
  86.           
  87.            W
  88.           
  89.           
  90.            T
  91.           
  92.          
  93.          
  94.           W
  95.          
  96.          
  97.           −
  98.          
  99.          
  100.           I
  101.          
  102.          
  103.           >
  104.          
  105.         
  106.        
  107.       
  108.      
  109.     
  110.     
  111.      
  112.       
  113.        
  114.       
  115.      
  116.      
  117.       
  118.        
  119.         
  120.         
  121.          =
  122.         
  123.         
  124.          
  125.           t
  126.          
  127.          
  128.           r
  129.          
  130.         
  131.         
  132.          
  133.           (
  134.          
  135.          
  136.           
  137.            W
  138.           
  139.           
  140.            T
  141.           
  142.          
  143.          
  144.           
  145.            
  146.             
  147.              X
  148.             
  149.             
  150.              X
  151.             
  152.            
  153.           
  154.           
  155.            T
  156.           
  157.          
  158.          
  159.           W
  160.          
  161.          
  162.           )
  163.          
  164.         
  165.         
  166.          +
  167.         
  168.         
  169.          
  170.           t
  171.          
  172.          
  173.           r
  174.          
  175.         
  176.         
  177.          
  178.           (
  179.          
  180.          
  181.           
  182.            Θ
  183.           
  184.           
  185.            T
  186.           
  187.          
  188.          
  189.           
  190.            (
  191.           
  192.           
  193.            
  194.             W
  195.            
  196.            
  197.             T
  198.            
  199.           
  200.           
  201.            W
  202.           
  203.           
  204.            −
  205.           
  206.           
  207.            I
  208.           
  209.           
  210.            )
  211.           
  212.          
  213.          
  214.           )
  215.          
  216.         
  217.        
  218.       
  219.      
  220.     
  221.    
  222.    
  223.     \begin{aligned} L\left( \boldsymbol{W},\boldsymbol{\varTheta } \right) &=\mathrm{tr}\left( \boldsymbol{W}^T\boldsymbol{XX}^T\boldsymbol{W} \right) +\left< \boldsymbol{\varTheta },\boldsymbol{W}^T\boldsymbol{W}-\boldsymbol{I} \right> \\&=\mathrm{tr}\left( \boldsymbol{W}^T\boldsymbol{XX}^T\boldsymbol{W} \right) +\mathrm{tr}\left( \boldsymbol{\varTheta }^T\left( \boldsymbol{W}^T\boldsymbol{W}-\boldsymbol{I} \right) \right)\end{aligned}
  224.    
  225.   
  226.  L(W,Θ)​=tr(WTXXTW)+⟨Θ,WTW−I⟩=tr(WTXXTW)+tr(ΘT(WTW−I))​

对降维映射

  1.     W
  2.    
  3.   
  4.   
  5.    \boldsymbol{W}
  6.   
  7.  
  8. W的约束分为两个：
  10.  
  11.   
  12.    
  13.     
  14.      w
  15.     
  16.     
  17.      i
  18.     
  19.     
  20.      T
  21.     
  22.    
  23.    
  24.     
  25.      w
  26.     
  27.     
  28.      i
  29.     
  30.    
  31.    
  32.     =
  33.    
  34.    
  35.     1
  36.    
  37.    
  38.     ,
  39.    
  40.    
  41.     
  42.      w
  43.     
  44.     
  45.      i
  46.     
  47.     
  48.      T
  49.     
  50.    
  51.    
  52.     
  53.      w
  54.     
  55.     
  56.      j
  57.     
  58.    
  59.    
  60.     =
  61.    
  62.    
  63.     0
  64.    
  65.    
  66.     
  67.      (
  68.     
  69.     
  70.      i
  71.     
  72.     
  73.      =
  74.     
  75.     
  76.      1
  77.     
  78.     
  79.      ,
  80.     
  81.     
  82.      2
  83.     
  84.     
  85.      ,
  86.     
  87.     
  88.      ⋯
  89.      
  90.     
  91.      ,
  92.     
  93.     
  94.      
  95.       d
  96.      
  97.      
  98.       ′
  99.      
  100.     
  101.     
  102.      ,
  103.     
  104.     
  105.      i
  106.     
  107.     
  108.      ≠
  109.     
  110.     
  111.      j
  112.     
  113.     
  114.      )
  115.     
  116.    
  117.   
  118.   
  119.    \boldsymbol{w}_{i}^{T}\boldsymbol{w}_i=1, \boldsymbol{w}_{i}^{T}\boldsymbol{w}_j=0\left( i=1,2,\cdots ,d',i\ne j \right)
  120.   
  121.  
  122. wiT​wi​=1,wiT​wj​=0(i=1,2,⋯,d′,i=j)

先考虑第一个单位化约束，则拉格朗日乘子矩阵退化为对角矩阵

  1.     Λ
  2.    
  3.   
  4.   
  5.    \boldsymbol{\varLambda }
  6.   
  7.  
  8. Λ。现令
  10.  
  11.   
  12.    
  13.     
  14.      
  15.       
  16.        ∂
  17.       
  18.       
  19.        L
  20.       
  21.       
  22.        
  23.         (
  24.        
  25.        
  26.         W
  27.        
  28.        
  29.         ,
  30.        
  31.        
  32.         Λ
  33.        
  34.        
  35.         )
  36.        
  37.       
  38.      
  39.      
  40.       /
  41.      
  42.      
  43.       
  44.        ∂
  45.       
  46.       
  47.        W
  48.       
  49.      
  50.     
  51.     
  52.      =
  53.     
  54.     
  55.      2
  56.     
  57.     
  58.      
  59.       
  60.        
  61.         X
  62.        
  63.        
  64.         X
  65.        
  66.       
  67.      
  68.      
  69.       T
  70.      
  71.     
  72.     
  73.      W
  74.     
  75.     
  76.      +
  77.     
  78.     
  79.      2
  80.     
  81.     
  82.      
  83.       
  84.        W
  85.       
  86.       
  87.        Λ
  88.       
  89.      
  90.     
  91.     
  92.      =
  93.     
  94.     
  95.      0
  96.     
  97.    
  98.    
  99.     {{\partial L\left( \boldsymbol{W},\boldsymbol{\varLambda } \right)}/{\partial \boldsymbol{W}}}=2\boldsymbol{XX}^T\boldsymbol{W}+2\boldsymbol{W\varLambda }=0
  100.    
  101.   
  102.  ∂L(W,Λ)/∂W=2XXTW+2WΛ=0

即得

  1.        X
  2.       
  3.       
  4.        X
  5.       
  6.      
  7.     
  8.     
  9.      T
  10.     
  11.    
  12.    
  13.     W
  14.    
  15.    
  16.     =
  17.    
  18.    
  19.     −
  20.    
  21.    
  22.     
  23.      
  24.       W
  25.      
  26.      
  27.       Λ
  28.      
  29.     
  30.    
  31.   
  32.   
  33.    \boldsymbol{XX}^T\boldsymbol{W}=-\boldsymbol{W\varLambda }
  34.   
  35.  
  36. XXTW=−WΛ，考察每个
  38.  
  39.   
  40.    
  41.     
  42.      w
  43.     
  44.     
  45.      i
  46.     
  47.    
  48.   
  49.   
  50.    \boldsymbol{w}_i
  51.   
  52.  
  53. wi​有
  55.  
  56.   
  57.    
  58.     
  59.      
  60.       
  61.        
  62.         X
  63.        
  64.        
  65.         X
  66.        
  67.       
  68.      
  69.      
  70.       T
  71.      
  72.     
  73.     
  74.      
  75.       w
  76.      
  77.      
  78.       i
  79.      
  80.     
  81.     
  82.      =
  83.     
  84.     
  85.      −
  86.     
  87.     
  88.      
  89.       λ
  90.      
  91.      
  92.       i
  93.      
  94.     
  95.     
  96.      
  97.       w
  98.      
  99.      
  100.       i
  101.      
  102.     
  103.     
  104.      =
  105.     
  106.     
  107.      
  108.       
  109.        λ
  110.       
  111.       
  112.        ~
  113.       
  114.      
  115.      
  116.       i
  117.      
  118.     
  119.     
  120.      
  121.       w
  122.      
  123.      
  124.       i
  125.      
  126.     
  127.    
  128.    
  129.     \boldsymbol{XX}^T\boldsymbol{w}_i=-\lambda _i\boldsymbol{w}_i=\tilde{\lambda}_i\boldsymbol{w}_i
  130.    
  131.   
  132.  XXTwi​=−λi​wi​=λ~i​wi​

所以

  1.     W
  2.    
  3.   
  4.   
  5.    \boldsymbol{W}
  6.   
  7.  
  8. W是矩阵
  10.  
  11.   
  12.    
  13.     
  14.      
  15.       
  16.        X
  17.       
  18.       
  19.        X
  20.       
  21.      
  22.     
  23.     
  24.      T
  25.     
  26.    
  27.    
  28.     ∈
  29.    
  30.    
  31.     
  32.      R
  33.     
  34.     
  35.      
  36.       d
  37.      
  38.      
  39.       ×
  40.      
  41.      
  42.       d
  43.      
  44.     
  45.    
  46.   
  47.   
  48.    \boldsymbol{XX}^T\in \mathbb{R} ^{d\times d}
  49.   
  50.  
  51. XXT∈Rd×d进行特征值分解后对应的特征向量组成的矩阵，由于特征值分解可以通过施密特正交化等方式变换为正交矩阵，因此降维映射的
  53.  
  54.   
  55.    
  56.     
  57.      w
  58.     
  59.     
  60.      i
  61.     
  62.     
  63.      T
  64.     
  65.    
  66.    
  67.     
  68.      w
  69.     
  70.     
  71.      j
  72.     
  73.    
  74.    
  75.     =
  76.    
  77.    
  78.     0
  79.    
  80.   
  81.   
  82.    \boldsymbol{w}_{i}^{T}\boldsymbol{w}_j=0
  83.   
  84.  
  85. wiT​wj​=0约束也成立。考虑到
  87.  
  88.   
  89.    
  90.     
  91.      
  92.       t
  93.      
  94.      
  95.       r
  96.      
  97.     
  98.     
  99.      
  100.       (
  101.      
  102.      
  103.       
  104.        W
  105.       
  106.       
  107.        T
  108.       
  109.      
  110.      
  111.       
  112.        
  113.         
  114.          X
  115.         
  116.         
  117.          X
  118.         
  119.        
  120.       
  121.       
  122.        T
  123.       
  124.      
  125.      
  126.       W
  127.      
  128.      
  129.       )
  130.      
  131.     
  132.     
  133.      =
  134.     
  135.     
  136.      
  137.       ∑
  138.      
  139.      
  140.       
  141.        i
  142.       
  143.       
  144.        =
  145.       
  146.       
  147.        1
  148.       
  149.      
  150.      
  151.       
  152.        d
  153.       
  154.       
  155.        ′
  156.       
  157.      
  158.     
  159.     
  160.      
  161.       
  162.        w
  163.       
  164.       
  165.        i
  166.       
  167.       
  168.        T
  169.       
  170.      
  171.      
  172.       
  173.        
  174.         
  175.          X
  176.         
  177.         
  178.          X
  179.         
  180.        
  181.       
  182.       
  183.        T
  184.       
  185.      
  186.      
  187.       
  188.        w
  189.       
  190.       
  191.        i
  192.       
  193.      
  194.     
  195.     
  196.      =
  197.     
  198.     
  199.      
  200.       ∑
  201.      
  202.      
  203.       
  204.        i
  205.       
  206.       
  207.        =
  208.       
  209.       
  210.        1
  211.       
  212.      
  213.      
  214.       
  215.        d
  216.       
  217.       
  218.        ′
  219.       
  220.      
  221.     
  222.     
  223.      
  224.       
  225.        
  226.         λ
  227.        
  228.        
  229.         ~
  230.        
  231.       
  232.       
  233.        i
  234.       
  235.      
  236.      
  237.       
  238.        w
  239.       
  240.       
  241.        i
  242.       
  243.       
  244.        T
  245.       
  246.      
  247.      
  248.       
  249.        w
  250.       
  251.       
  252.        i
  253.       
  254.      
  255.     
  256.     
  257.      =
  258.     
  259.     
  260.      
  261.       ∑
  262.      
  263.      
  264.       
  265.        i
  266.       
  267.       
  268.        =
  269.       
  270.       
  271.        1
  272.       
  273.      
  274.      
  275.       
  276.        d
  277.       
  278.       
  279.        ′
  280.       
  281.      
  282.     
  283.     
  284.      
  285.       
  286.        λ
  287.       
  288.       
  289.        ~
  290.       
  291.      
  292.      
  293.       i
  294.      
  295.     
  296.    
  297.    
  298.     \mathrm{tr}\left( \boldsymbol{W}^T\boldsymbol{XX}^T\boldsymbol{W} \right) =\sum\nolimits_{i=1}^{d'}{\boldsymbol{w}_{i}^{T}\boldsymbol{XX}^T\boldsymbol{w}_i}=\sum\nolimits_{i=1}^{d'}{\tilde{\lambda}_i\boldsymbol{w}_{i}^{T}\boldsymbol{w}_i}=\sum\nolimits_{i=1}^{d'}{\tilde{\lambda}_i}
  299.    
  300.   
  301.  tr(WTXXTW)=∑i=1d′​wiT​XXTwi​=∑i=1d′​λ~i​wiT​wi​=∑i=1d′​λ~i​

因此取

  1.      d
  2.     
  3.     
  4.      ′
  5.     
  6.    
  7.    
  8.     ≪
  9.    
  10.    
  11.     d
  12.    
  13.   
  14.   
  15.    d'\ll d
  16.   
  17.  
  18. d′≪d个最大特征值对应的特征向量即可实现目标。

3 PCA与SVD的联系

  1. PCA

与

  1. SVD

有一定联系：

  1. PCA

降维需要求解协方差矩阵

  1.        X
  2.       
  3.       
  4.        X
  5.       
  6.      
  7.     
  8.     
  9.      T
  10.     
  11.    
  12.   
  13.   
  14.    \boldsymbol{XX}^T
  15.   
  16.  
  17. XXT，而
  1. SVD

分解的过程中需要求解

  1.        A
  2.       
  3.       
  4.        A
  5.       
  6.      
  7.     
  8.     
  9.      T
  10.     
  11.    
  12.   
  13.   
  14.    \boldsymbol{AA}^T
  15.   
  16.  
  17. AAT与
  19.  
  20.   
  21.    
  22.     
  23.      A
  24.     
  25.     
  26.      T
  27.     
  28.    
  29.    
  30.     A
  31.    
  32.   
  33.   
  34.    \boldsymbol{A}^T\boldsymbol{A}
  35.   
  36.  
  37. ATA，因此如果令
  39.  
  40.   
  41.    
  42.     A
  43.    
  44.    
  45.     =
  46.    
  47.    
  48.     X
  49.    
  50.   
  51.   
  52.    \boldsymbol{A}=\boldsymbol{X}
  53.   
  54.  
  55. A=X，那么
  1. SVD

的过程中就能得到

  1. PCA

所需的降维映射

  1.     W
  2.    
  3.   
  4.   
  5.    \boldsymbol{W}
  6.   
  7.  
  8. W。

在大样本下

  1.        X
  2.       
  3.       
  4.        X
  5.       
  6.      
  7.     
  8.     
  9.      T
  10.     
  11.    
  12.   
  13.   
  14.    \boldsymbol{XX}^T
  15.   
  16.  
  17. XXT或
  19.  
  20.   
  21.    
  22.     
  23.      
  24.       
  25.        A
  26.       
  27.       
  28.        A
  29.       
  30.      
  31.     
  32.     
  33.      T
  34.     
  35.    
  36.   
  37.   
  38.    \boldsymbol{AA}^T
  39.   
  40.  
  41. AAT都将产生很高的复杂度，但
  1. SVD

已有绕过计算

  1.        X
  2.       
  3.       
  4.        X
  5.       
  6.      
  7.     
  8.     
  9.      T
  10.     
  11.    
  12.   
  13.   
  14.    \boldsymbol{XX}^T
  15.   
  16.  
  17. XXT或
  19.  
  20.   
  21.    
  22.     
  23.      
  24.       
  25.        A
  26.       
  27.       
  28.        A
  29.       
  30.      
  31.     
  32.     
  33.      T
  34.     
  35.    
  36.   
  37.   
  38.    \boldsymbol{AA}^T
  39.   
  40.  
  41. AAT直接进行分解的高效算法，因此**SVD通常作为求解PCA降维问题的工具，PCA体现了SVD分解中的一个方向(左奇异或右奇异)**。

4 Python实现

  1. PCA

算法的复现非常简单，核心代码如下

  1. '''
  2. * @breif: 运行降维算法
  3. * @param[in]: outDim -> 输出样本维数
  4. * @retval: Z -> 低维样本集
  5. '''defrun(self, outDim):# 计算协方差矩阵
  6.     cov = np.dot(self.X, self.X.T)# 特征值分解
  7.     eigVal, eigVec = np.linalg.eig(cov)# 获取最大的d'个特征值对应的索引, np.argsort是按从小到大排序, 所以对特征值取负号
  8.     index = np.argsort(-eigVal)[0:outDim]
  9.     eigVec_ = eigVec[:, index]# 计算低维样本
  10.     Z = np.dot(eigVec_.T, self.X)return Z

以鸢尾花数据集为例执行降维，效果如下

在这里插入图片描述

本文完整工程代码请通过下方名片联系博主获取

🔥 更多精彩专栏：

  • 《ROS从入门到精通》
  • 《Pytorch深度学习实战》
  • 《机器学习强基计划》
  • 《运动规划实战精讲》
  • …

👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇

标签： python 算法 人工智能
本文转载自: https://blog.csdn.net/FRIGIDWINTER/article/details/128699242
版权归原作者 Mr.Winter` 所有， 如有侵权，请联系我们删除。
登录后发布评论

“机器学习强基计划8-1：图解主成分分析PCA算法(附Python实现)”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？