0
0

【人工智能 | 机器学习 | 理论篇】模型评估与选择

文章目录

前言：
本文为个人学习笔记

  1. 灰色部分且标注为思考的 为个人理解

部分，可能会有错误的地方

黑色部分为文章原文笔记。

1. 经验误差与过拟合

  1. 错误率

：分类错误的样本占样本总数的比例。例：m 个样本中有 a 个样本分类错误，错误率

  1.       E 
  2.      
  3.     
  4.       = 
  5.      
  6.      
  7.      
  8.        a 
  9.       
  10.      
  11.        m 
  12.       
  13.      
  14.     
  15.    
  16.      E = \frac{a}{m} 
  17.     
  18.    
  19.  E=ma​
  1. 精度

： 

  1.       1 
  2.      
  3.     
  4.       − 
  5.      
  6.      
  7.      
  8.        a 
  9.       
  10.      
  11.        m 
  12.       
  13.      
  14.     
  15.    
  16.      1 - \frac{a}{m} 
  17.     
  18.    
  19.  1−ma​
  1. 误差

：实际预测输出与样本真实输出的差异

  1. 训练误差

：在训练集上的误差

  1. 泛化误差

：在新样本上的误差

分类错误率为 0，分类精度为 100% 会导致

  1. 过拟合

，导致泛化能力下降。与之相对的是

  1. 欠拟合

。过拟合无法避免，只能 ‘缓解’

  1. 模型选择

：对候选模型的泛化误差进行评估，选择泛化误差最小的模型，减小

  1. 过拟合

现象

2. 模型评估方法

2.1 模型评估概念

选择 

  1. 测试集

测试学习器对新样本的差别能力，以测试集上的 

  1. 测试误差

作为 

  1. 泛化误差

的近似值。通常 

  1. 测试样本

也是从样本真实分布中 

  1. 独立同分布采样

得到，测试集应该尽可能 

  1. 与训练集互斥

，即测试集在训练集中尽量未出现、未在训练过程中使用过。

以下是几种模型评估做法

2.2 留出法

将数据集 D 划分为两个互斥的集合 S 和 T。S 作为训练集，T 作为测试集。即 

  1.       D 
  2.      
  3.     
  4.       = 
  5.      
  6.     
  7.       S 
  8.      
  9.     
  10.       ⋃ 
  11.      
  12.     
  13.       T 
  14.      
  15.     
  16.       ， 
  17.      
  18.     
  19.       S 
  20.      
  21.     
  22.       ⋂ 
  23.      
  24.     
  25.       T 
  26.      
  27.     
  28.       = 
  29.      
  30.     
  31.       ∅ 
  32.      
  33.     
  34.    
  35.      D = S \bigcup T，S \bigcap T = \varnothing 
  36.     
  37.    
  38.  D=S⋃T，S⋂T=∅

在 S 上训练出模型后，用 T 来评估误差，作为泛化误差的估计

在这里插入图片描述

S 和 T 要尽可能保持数据分布的一致性。保留类别比例的采样方式称为 

  1. 分层采样

。例如 D 中包含 500 个正例 500 个反例，则 S 应包含 350个正例350个反例，T 中应包含 150个正例150个反例。若 S 、T 中样本类别比例差异很大，则误差估计会因为数据分布差异导致偏差。

S 和 T 中数据分布可能导致模型评估的结果有差别。单次使用留出法得到的估计结果往往不够稳定和可靠。使用留出法时，一般用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。例如进行 100 次随机划分，得到100个结果后取平均值

留出法还会导致一个问题：
若令训练集 S 包含大多数样本，则训练的模型可能更接近 D 训练的模型。但由于 T 较小，评估结果可能不够稳定准确；若令 T 包含更多一些的样本，则 S 训练的模型与 D 训练的模型差异会稍大一些，评估结果与 D 的结果会有更大的差别，从而降低评估真实性。这个问题没有完美解决方案，常见做法是将大约 2/3 ~ 4/5 的样本用于训练，剩余样本用于测试。

2.3 k 折交叉验证法

将

  1. 数据集 D

划分为 

  1. k 个大小相似的互斥子集

，即

  1.       D 
  2.      
  3.     
  4.       = 
  5.      
  6.      
  7.      
  8.        D 
  9.       
  10.      
  11.        1 
  12.       
  13.      
  14.     
  15.       ⋃ 
  16.      
  17.      
  18.      
  19.        D 
  20.       
  21.      
  22.        2 
  23.       
  24.      
  25.     
  26.       ⋃ 
  27.      
  28.     
  29.       . 
  30.      
  31.     
  32.       . 
  33.      
  34.     
  35.       . 
  36.      
  37.     
  38.       ⋃ 
  39.      
  40.      
  41.      
  42.        D 
  43.       
  44.      
  45.        k 
  46.       
  47.      
  48.     
  49.       ， 
  50.      
  51.      
  52.      
  53.        D 
  54.       
  55.      
  56.        i 
  57.       
  58.      
  59.     
  60.       ⋂ 
  61.      
  62.      
  63.      
  64.        D 
  65.       
  66.      
  67.        j 
  68.       
  69.      
  70.     
  71.       = 
  72.      
  73.     
  74.       ∅ 
  75.      
  76.     
  77.       （ 
  78.      
  79.     
  80.       i 
  81.      
  82.     
  83.       ≠ 
  84.      
  85.     
  86.       j 
  87.      
  88.     
  89.       ） 
  90.      
  91.     
  92.    
  93.      D = D_1 \bigcup D_2 \bigcup ... \bigcup D_k， D_i \bigcap D_j = \varnothing（i \not = j） 
  94.     
  95.    
  96.  D=D1​⋃D2​⋃...⋃Dk​，Di​⋂Dj​=∅（i=j）

每个子集尽可能保持数据分布的一致性，即从 D 中通过分层采样得到。每次用 k - 1 个子集用于训练，余下子集作为测试集，从而进行 k 次训练和测试，最终得到 k 个结果的均值作为泛化误差近似。

交叉验证法评估结果很大程度上取决于 k 的取值。k 常用取值是 10，此时称为 

  1. 10折交叉验证

在这里插入图片描述

与留出法相同，k 个子集同样存在不同的划分方式。为了减小样本划分差异导致的差别，通常需要将数据集划分 p 次，最终评估 p 次 k 折交叉验证结果的均值。例如：

  1. 10次10折交叉验证
  1. 留一法

：若 D 中包含 m 个样本，令 k = m，则留一法不受随机样本划分方式的影响，评估结果最准确。但是开销太大了，假设有 100 万样本，不考虑参数影响情况下，要训练100万次

2.4 自助法

  1. 自助法

解决了 交叉验证和留出法的 S 小于 D 导致评估结果产生偏差的问题。
给定 m 个样本的数据集 D，对它采样产生数据集 D’：每次随机从 D 中复制一个到 D’，重复 m 次，复制过的样本还可能被重新复制到 D’ 中。显然，有一部分样本会在 D’ 中重复出现，另一部分样本不会出现。
样本在 m 次采样中始终不被采到的概率是

  1.       ( 
  2.      
  3.     
  4.       1 
  5.      
  6.     
  7.       − 
  8.      
  9.      
  10.      
  11.        1 
  12.       
  13.      
  14.        m 
  15.       
  16.      
  17.      
  18.      
  19.        ) 
  20.       
  21.      
  22.        m 
  23.       
  24.      
  25.     
  26.    
  27.      (1 - \frac{1}{m})^m 
  28.     
  29.    
  30.  (1−m1​)m
  32.   
  33.    
  34.     
  35.      
  36.       
  37.       
  38.         lim 
  39.        
  40.       
  41.         ⁡ 
  42.        
  43.       
  44.       
  45.       
  46.         m 
  47.        
  48.       
  49.         − 
  50.        
  51.       
  52.         > 
  53.        
  54.       
  55.         ∞ 
  56.        
  57.       
  58.      
  59.      
  60.      
  61.        ( 
  62.       
  63.      
  64.        1 
  65.       
  66.      
  67.        − 
  68.       
  69.       
  70.       
  71.         1 
  72.        
  73.       
  74.         m 
  75.        
  76.       
  77.       
  78.       
  79.         ) 
  80.        
  81.       
  82.         m 
  83.        
  84.       
  85.        
  86.     
  87.       ⟹ 
  88.        
  89.      
  90.      
  91.        1 
  92.       
  93.      
  94.        e 
  95.       
  96.      
  97.     
  98.       ≈ 
  99.      
  100.     
  101.       0.368 
  102.      
  103.     
  104.    
  105.      \lim\limits_{m->∞}{(1 - \frac{1}{m})^m} \implies \frac{1}{e} \approx 0.368 
  106.     
  107.    
  108.  m−>∞lim​(1−m1​)m⟹e1​≈0.368

即通过自助采样，初始数据集中约有 36.8% 的样本未出现在采样数据集 D’ 中，于是我们可以用 D’ 当作训练集，D - D’ 当作测试集。

自助法在数据量较小，难以有效划分测试集、训练集时很有用。但是，自助法产生的数据集改变了初始数据集的数据分布，会引入估计偏差。因此在数据量足够时，用留出法和交叉验证法更常用

2.5 调参与最终模型

大多数学习算法都有参数设定，因此除了对学习算法进行选择，还要对算法参数进行评定，即 

  1. 调参

在这里插入图片描述

  1. 测试集 T

：用来评估泛化能力

  1. 验证集 V

：调参
D = S + T + V
数据量小时，可以不区分 T 和 V

3. 性能度量

  1. 性能度量

：衡量模型泛化能力的评价标准。不同的性能度量会导致不同的评判结果，模型的好坏是相对的

3.1 均方误差

  1. 回归

任务常用的性能度量是 

  1. 均方误差

在这里插入图片描述

3.2 错误率、精度

  1. 分类

任务常用 

  1. 错误率

和 

  1. 精度

在这里插入图片描述
在这里插入图片描述

3.3 查准率、查全率

例如二分类问题，可分为

  • 真正例：TP
  • 假正例：FP
  • 真反例：TN
  • 假反例：FN 显然 T P + F P + T N + F N = 样例总数 TP + FP + TN + FN = 样例总数 TP+FP+TN+FN=样例总数在这里插入图片描述 查准率 : p = T P T P + F P 查全率： R = T P T P + F N 查准率: p = \frac{TP}{TP+FP}\ 查全率：R = \frac{TP}{TP+FN} 查准率:p=TP+FPTP​查全率：R=TP+FNTP​ 查准率：模型检测为正中，真正的比例 查全率：所有正例中，模型检测出来的比例
  1. PR曲线

在这里插入图片描述
PR曲线，同一个模型不同训练参数，或不同模型，对应一条曲线。

  1. 思考

PR曲线为什么画出来是一条线？同一个模型相同参数训练结果的查全率和查准率难道不是一个

  1. 值

吗？
因为 pr 曲线是通过修改阈值得到的。例如二分类问题，模型给出的结果是0-1之间的数。假设大于0.5是好瓜，会得到1个点，大于0.6是好瓜，又得到一个点。通过修改不同的阈值表示

  1. 正

，可以得到 pr 曲线

  1. 查准率和查全率曲线越靠右上，说明模型越好，即曲线包住别的曲线
  2. 如果2个曲线有交叉点，则根据PR曲线下面积大小判断模型好坏
  3. 根据平衡点 BEP度量，查找 查准率 = 查全率 的取值。图中 A 优于 B 优于 C
  4. F1度量 优于 BEP 度量 F 1 = 2 ∗ P ∗ R P + R = 2 ∗ T P 样例总数 − T P − T N F1 = \frac{2 * P * R}{P + R} = \frac{2 * TP }{样例总数 - TP - TN} F1=P+R2∗P∗R​=样例总数−TP−TN2∗TP​ 不同模型对查准率和查全率有不同偏好，F1度量的一般形式 F β = ( 1 + β 2 ) ∗ P ∗ R ( β 2 ∗ P ) + R ， β { < 1 倾向于查准率 , = 1 退化为F1 > 1 倾向于查全率 F_\beta = \frac{(1+\beta^2)PR}{(\beta^2*P)+R}，\beta\begin{cases}<1&\text{倾向于查准率},\=1&\text{退化为F1}\>1&\text{倾向于查全率}\end{cases} Fβ​=(β2∗P)+R(1+β2)∗P∗R​，β⎩⎨⎧​<1=1>1​倾向于查准率,退化为F1倾向于查全率​

3.3 扩展

用来衡量机器学习算法的能力指标
宏查准率：macro-P
宏查全率：macro-R
宏F1：macro-F1
微查准率：micro-P
微查全率：micro-R
微F1：micro-F1

在这里插入图片描述
在这里插入图片描述

  1. 思考

宏和微举个例子，假如你生病了，有100个药和10个玩具，你要的是药

  1. 药多，玩具多，药重要，就用微（数量多）

假如你生病了，有10个药和100个玩具，你要的是药

  1. 药少，玩具多，药重要，就用宏（数量不占上风）

用宏还是用微，先看更关注哪个，再看数量。

就好像跟女朋友吵架的时候，女朋友吵架，

  1. 她占理她就讲对错，她不占理她就讲态度。。。。

3.4 ROC 与 AUC

  1. ROC

：受试者工作特征（Receiver Operating Characteristic）曲线。训练模型后，根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例预测，以

  1. 假正例率 FPR

为横轴，

  1. 真正例率 TPR

为纵轴。每个正反例截断点在坐标轴上得到一个点，改变截断点的值，得到一条曲线，即为ROC曲线

  1.       T 
  2.      
  3.     
  4.       P 
  5.      
  6.     
  7.       R 
  8.      
  9.     
  10.       = 
  11.      
  12.      
  13.       
  14.       
  15.         T 
  16.        
  17.       
  18.         P 
  19.        
  20.       
  21.       
  22.       
  23.         T 
  24.        
  25.       
  26.         P 
  27.        
  28.       
  29.         + 
  30.        
  31.       
  32.         F 
  33.        
  34.       
  35.         N 
  36.        
  37.       
  38.      
  39.      
  40.     
  41.       F 
  42.      
  43.     
  44.       P 
  45.      
  46.     
  47.       R 
  48.      
  49.     
  50.       = 
  51.      
  52.      
  53.       
  54.       
  55.         F 
  56.        
  57.       
  58.         P 
  59.        
  60.       
  61.       
  62.       
  63.         T 
  64.        
  65.       
  66.         N 
  67.        
  68.       
  69.         + 
  70.        
  71.       
  72.         F 
  73.        
  74.       
  75.         P 
  76.        
  77.       
  78.      
  79.     
  80.    
  81.      TPR = \frac{TP}{TP+FN}\\FPR = \frac{FP}{TN+FP} 
  82.     
  83.    
  84.  TPR=TP+FNTP​FPR=TN+FPFP​

在这里插入图片描述

  1. 思考

考虑极端情况，假定截断点为 1，没有正例被识别为正例，真正例 TP = 0，根据公式得 真正例率 TPR = 0；同理 没有反例被识别为正例，FP = 0，FPR = 0。对应图上（0，0）点

假定截断点为 0，所有正例都被识别为正例，即没有正例被识别为反例，所以 FN = 0，也没有反例被识别为反例，反以 TN = 0。对应图上（1，1）点

  1.        T 
  2.       
  3.      
  4.        P 
  5.       
  6.      
  7.        R 
  8.       
  9.      
  10.        = 
  11.       
  12.       
  13.        
  14.        
  15.          T 
  16.         
  17.        
  18.          P 
  19.         
  20.        
  21.        
  22.        
  23.          T 
  24.         
  25.        
  26.          P 
  27.         
  28.        
  29.          + 
  30.         
  31.        
  32.          F 
  33.         
  34.        
  35.          N 
  36.         
  37.        
  38.       
  39.      
  40.        = 
  41.       
  42.       
  43.        
  44.        
  45.          T 
  46.         
  47.        
  48.          P 
  49.         
  50.        
  51.        
  52.        
  53.          T 
  54.         
  55.        
  56.          P 
  57.         
  58.        
  59.       
  60.      
  61.        = 
  62.       
  63.      
  64.        1 
  65.       
  66.       
  67.      
  68.        F 
  69.       
  70.      
  71.        P 
  72.       
  73.      
  74.        R 
  75.       
  76.      
  77.        = 
  78.       
  79.       
  80.        
  81.        
  82.          F 
  83.         
  84.        
  85.          P 
  86.         
  87.        
  88.        
  89.        
  90.          T 
  91.         
  92.        
  93.          N 
  94.         
  95.        
  96.          + 
  97.         
  98.        
  99.          F 
  100.         
  101.        
  102.          P 
  103.         
  104.        
  105.       
  106.      
  107.        = 
  108.       
  109.       
  110.        
  111.        
  112.          F 
  113.         
  114.        
  115.          P 
  116.         
  117.        
  118.        
  119.        
  120.          F 
  121.         
  122.        
  123.          P 
  124.         
  125.        
  126.       
  127.      
  128.        = 
  129.       
  130.      
  131.        1 
  132.       
  133.      
  134.     
  135.       TPR = \frac{TP}{TP+FN} = \frac{TP}{TP} = 1\\ FPR = \frac{FP}{TN+FP} = \frac{FP}{FP} = 1 
  136.      
  137.     
  138.   TPR=TP+FNTP​=TPTP​=1FPR=TN+FPFP​=FPFP​=1

而图中的（0，1）点，假正例率 = 0，真正例率 = 1。所有正例被正确识别。FPR = 0，TPR = 1，由公式可看出，FN = 0，所以也没有反例被识别为正例，因此，

  1. （0，1）点

为 roc 曲线的 

  1. 理想点

，把所有正例排在反例之前，且正确找到截断点，是一个理想模型

ROC曲线 与 P-R曲线 相似，若一个学习器的 ROC 曲线 a 被 另一个ROC 曲线 b 包住，则 b 的性能优于 a 的性能。若两个曲线发生交叉，则比较 

  1. ROC 曲线的下面积大小，称为 AUC（Area Under ROC Curve）

对于有限个样本，显然可得

  1.       A 
  2.      
  3.     
  4.       U 
  5.      
  6.     
  7.       C 
  8.      
  9.     
  10.       = 
  11.      
  12.      
  13.      
  14.        1 
  15.       
  16.      
  17.        2 
  18.       
  19.      
  20.      
  21.      
  22.        ∑ 
  23.       
  24.       
  25.       
  26.         i 
  27.        
  28.       
  29.         = 
  30.        
  31.       
  32.         1 
  33.        
  34.       
  35.       
  36.       
  37.         m 
  38.        
  39.       
  40.         − 
  41.        
  42.       
  43.         1 
  44.        
  45.       
  46.      
  47.     
  48.       ( 
  49.      
  50.      
  51.      
  52.        x 
  53.       
  54.       
  55.       
  56.         i 
  57.        
  58.       
  59.         + 
  60.        
  61.       
  62.         1 
  63.        
  64.       
  65.      
  66.     
  67.       − 
  68.      
  69.      
  70.      
  71.        x 
  72.       
  73.      
  74.        i 
  75.       
  76.      
  77.     
  78.       ) 
  79.      
  80.     
  81.       ∗ 
  82.      
  83.     
  84.       ( 
  85.      
  86.      
  87.      
  88.        y 
  89.       
  90.      
  91.        i 
  92.       
  93.      
  94.     
  95.       + 
  96.      
  97.      
  98.      
  99.        y 
  100.       
  101.       
  102.       
  103.         i 
  104.        
  105.       
  106.         + 
  107.        
  108.       
  109.         1 
  110.        
  111.       
  112.      
  113.     
  114.       ) 
  115.      
  116.     
  117.    
  118.      AUC = \frac{1}{2}\sum_{i=1}^{m-1} (x_{i+1} - x_i) * (y_i+y_{i+1}) 
  119.     
  120.    
  121.  AUC=21​i=1∑m−1​(xi+1​−xi​)∗(yi​+yi+1​)

AUC 考虑的是 样本预测的排序质量，因为它与排序误差有紧密联系。
给定 m+ 个正例和 m- 个反例，令D+ 和 D- 分别表示正、反例集合
则排序的 

  1. 损失（loss）

定义为

  1.        l 
  2.       
  3.       
  4.       
  5.         r 
  6.        
  7.       
  8.         a 
  9.        
  10.       
  11.         n 
  12.        
  13.       
  14.         k 
  15.        
  16.       
  17.      
  18.     
  19.       = 
  20.      
  21.      
  22.      
  23.        1 
  24.       
  25.       
  26.        
  27.        
  28.          m 
  29.         
  30.        
  31.          + 
  32.         
  33.        
  34.        
  35.        
  36.          m 
  37.         
  38.        
  39.          − 
  40.         
  41.        
  42.       
  43.      
  44.      
  45.      
  46.        ∑ 
  47.       
  48.       
  49.        
  50.        
  51.          x 
  52.         
  53.        
  54.          + 
  55.         
  56.        
  57.       
  58.         ∈ 
  59.        
  60.        
  61.        
  62.          D 
  63.         
  64.        
  65.          + 
  66.         
  67.        
  68.       
  69.      
  70.      
  71.      
  72.        ∑ 
  73.       
  74.       
  75.        
  76.        
  77.          x 
  78.         
  79.        
  80.          − 
  81.         
  82.        
  83.       
  84.         ∈ 
  85.        
  86.        
  87.        
  88.          D 
  89.         
  90.        
  91.          − 
  92.         
  93.        
  94.       
  95.      
  96.     
  97.       ( 
  98.      
  99.     
  100.       [ 
  101.      
  102.     
  103.       f 
  104.      
  105.     
  106.       ( 
  107.      
  108.      
  109.      
  110.        x 
  111.       
  112.      
  113.        + 
  114.       
  115.      
  116.     
  117.       ) 
  118.      
  119.     
  120.       < 
  121.      
  122.     
  123.       f 
  124.      
  125.     
  126.       ( 
  127.      
  128.      
  129.      
  130.        x 
  131.       
  132.      
  133.        − 
  134.       
  135.      
  136.     
  137.       ) 
  138.      
  139.     
  140.       ] 
  141.      
  142.     
  143.       + 
  144.      
  145.      
  146.      
  147.        1 
  148.       
  149.      
  150.        2 
  151.       
  152.      
  153.     
  154.       [ 
  155.      
  156.     
  157.       f 
  158.      
  159.     
  160.       ( 
  161.      
  162.      
  163.      
  164.        x 
  165.       
  166.      
  167.        + 
  168.       
  169.      
  170.     
  171.       ) 
  172.      
  173.     
  174.       = 
  175.      
  176.     
  177.       f 
  178.      
  179.     
  180.       ( 
  181.      
  182.      
  183.      
  184.        x 
  185.       
  186.      
  187.        − 
  188.       
  189.      
  190.     
  191.       ) 
  192.      
  193.     
  194.       ] 
  195.      
  196.     
  197.       ) 
  198.      
  199.     
  200.    
  201.      l_{rank} = \frac{1}{m^+m^-}\sum_{x^+\in D^+}\sum_{x_-\in D^-}([f(x^+) < f(x^-)] + \frac{1}{2}[f(x^+)=f(x^-)]) 
  202.     
  203.    
  204.  lrank​=m+m−1​x+∈D+∑​x−​∈D−∑​([f(x+)<f(x−)]+21​[f(x+)=f(x−)])

其中，[] 方括号表示指示函数。[表达式]，若表达式为真，为1；否则，为0
即，考虑每一对正反例，若正例的预测值小于反例，记 1个“罚分”，若相等记 0.5个 “罚分”
损失值对应的应该是 ROC 曲线的上部分面积：若一个正例在 ROC曲线 上对应标记点的坐标为（x, y），则 x 恰是排序在其之前的反例所占的比例，即假正率。可得

  1.       A 
  2.      
  3.     
  4.       U 
  5.      
  6.     
  7.       C 
  8.      
  9.     
  10.       = 
  11.      
  12.     
  13.       1 
  14.      
  15.     
  16.       − 
  17.      
  18.      
  19.      
  20.        l 
  21.       
  22.       
  23.       
  24.         r 
  25.        
  26.       
  27.         a 
  28.        
  29.       
  30.         n 
  31.        
  32.       
  33.         k 
  34.        
  35.       
  36.      
  37.     
  38.    
  39.      AUC = 1-l_{rank} 
  40.     
  41.    
  42.  AUC=1−lrank​
  1. 思考

为什么 损失率 是 ROC曲线 之上的面积？
因为 ROC曲线 是通过不断改变截断点得到的。如果正例排在反例之后，肯定会有一个截断点错误识别正反例。
同时，又因为 损失率定义的是 

  1. 每一对正反例

，正好对应 ROC曲线上部面积 正反例排错所对应全部的重复的点

3.5 代价敏感错误率与代价曲线

预测结果假反例和假正例会造成不同程序的损失。例如把正常人预测为患者，把患者预测为正常人。前者只是增加了后续进一步检查的麻烦，但是后者可能会影响最佳救治时间。为了权衡不同类型错误造成的损失，可为错误赋予 

  1. 非均等代价（unequal cost）

。引入 代价矩阵
在这里插入图片描述
真正例和真反例的代价是0，因为是正确预测的。若假反例和假正例损失程度相差 越大，则cost10和cost01的值的差别越大。
我们之前介绍的所有内容，都隐式地假设了 

  1. 均等代价

，只考虑犯错的次数，不考虑不同错误会造成不同后果。在 

  1. 非均等代价下，我们希望的不是犯错次数更少，而是犯错代价最小

若将 0 类作为正例，1类作为反例，令 D+ 和 D- 分别表示正例和反例子集，则 

  1. 代价敏感（cost-sensitive） 错误率

为

  1.       E 
  2.      
  3.     
  4.       ( 
  5.      
  6.     
  7.       f 
  8.      
  9.     
  10.       ; 
  11.      
  12.     
  13.       D 
  14.      
  15.     
  16.       ; 
  17.      
  18.     
  19.       c 
  20.      
  21.     
  22.       o 
  23.      
  24.     
  25.       s 
  26.      
  27.     
  28.       t 
  29.      
  30.     
  31.       ) 
  32.      
  33.     
  34.       = 
  35.      
  36.      
  37.      
  38.        1 
  39.       
  40.      
  41.        m 
  42.       
  43.      
  44.     
  45.       ( 
  46.      
  47.      
  48.      
  49.        ∑ 
  50.       
  51.       
  52.        
  53.        
  54.          x 
  55.         
  56.        
  57.          i 
  58.         
  59.        
  60.       
  61.         ∈ 
  62.        
  63.        
  64.        
  65.          D 
  66.         
  67.        
  68.          + 
  69.         
  70.        
  71.       
  72.      
  73.     
  74.       [ 
  75.      
  76.     
  77.       ( 
  78.      
  79.     
  80.       f 
  81.      
  82.     
  83.       ( 
  84.      
  85.      
  86.      
  87.        x 
  88.       
  89.      
  90.        i 
  91.       
  92.      
  93.     
  94.       ≠ 
  95.      
  96.      
  97.      
  98.        y 
  99.       
  100.      
  101.        i 
  102.       
  103.      
  104.     
  105.       ) 
  106.      
  107.     
  108.       ] 
  109.      
  110.     
  111.       ∗ 
  112.      
  113.     
  114.       c 
  115.      
  116.     
  117.       o 
  118.      
  119.     
  120.       s 
  121.      
  122.      
  123.      
  124.        t 
  125.       
  126.      
  127.        01 
  128.       
  129.      
  130.     
  131.       + 
  132.      
  133.      
  134.      
  135.        ∑ 
  136.       
  137.       
  138.        
  139.        
  140.          x 
  141.         
  142.        
  143.          i 
  144.         
  145.        
  146.       
  147.         ∈ 
  148.        
  149.        
  150.        
  151.          D 
  152.         
  153.        
  154.          − 
  155.         
  156.        
  157.       
  158.      
  159.     
  160.       [ 
  161.      
  162.     
  163.       ( 
  164.      
  165.     
  166.       f 
  167.      
  168.     
  169.       ( 
  170.      
  171.      
  172.      
  173.        x 
  174.       
  175.      
  176.        i 
  177.       
  178.      
  179.     
  180.       ≠ 
  181.      
  182.      
  183.      
  184.        y 
  185.       
  186.      
  187.        i 
  188.       
  189.      
  190.     
  191.       ) 
  192.      
  193.     
  194.       ] 
  195.      
  196.     
  197.       ∗ 
  198.      
  199.     
  200.       c 
  201.      
  202.     
  203.       o 
  204.      
  205.     
  206.       s 
  207.      
  208.      
  209.      
  210.        t 
  211.       
  212.      
  213.        10 
  214.       
  215.      
  216.     
  217.       ) 
  218.      
  219.     
  220.    
  221.      E(f; D; cost) = \frac{1}{m}(\sum_{x_i\in D^+}[(f(x_i\not=y_i) ]* cost_{01} +\sum_{x_i\in D^-}[(f(x_i\not=y_i) ]* cost_{10}) 
  222.     
  223.    
  224.  E(f;D;cost)=m1​(xi​∈D+∑​[(f(xi​=yi​)]∗cost01​+xi​∈D−∑​[(f(xi​=yi​)]∗cost10​)

类似可以给出 

  1. 基于分布定义的代价敏感错误率

以及一些 

  1. 性能度量的代价敏感版本

若令其中的 i j 不局限于 0 和 1，则可给出 

  1. 多分类任务的代价敏感性能度量

在非均等代价下，ROC曲线 不能直接反应出学习器的期望总体代价，而代价曲线可以达到这个目的
在这里插入图片描述

则正例代价显然可得

  1.       P 
  2.      
  3.     
  4.       ( 
  5.      
  6.     
  7.       + 
  8.      
  9.     
  10.       ) 
  11.      
  12.     
  13.       c 
  14.      
  15.     
  16.       o 
  17.      
  18.     
  19.       s 
  20.      
  21.     
  22.       t 
  23.      
  24.     
  25.       = 
  26.      
  27.      
  28.       
  29.       
  30.         p 
  31.        
  32.       
  33.         ∗ 
  34.        
  35.       
  36.         c 
  37.        
  38.       
  39.         o 
  40.        
  41.       
  42.         s 
  43.        
  44.        
  45.        
  46.          t 
  47.         
  48.        
  49.          01 
  50.         
  51.        
  52.       
  53.       
  54.       
  55.         p 
  56.        
  57.       
  58.         ∗ 
  59.        
  60.       
  61.         c 
  62.        
  63.       
  64.         o 
  65.        
  66.       
  67.         s 
  68.        
  69.        
  70.        
  71.          t 
  72.         
  73.        
  74.          10 
  75.         
  76.        
  77.       
  78.         + 
  79.        
  80.       
  81.         ( 
  82.        
  83.       
  84.         1 
  85.        
  86.       
  87.         − 
  88.        
  89.       
  90.         p 
  91.        
  92.       
  93.         ) 
  94.        
  95.       
  96.         ∗ 
  97.        
  98.       
  99.         c 
  100.        
  101.       
  102.         o 
  103.        
  104.       
  105.         s 
  106.        
  107.        
  108.        
  109.          t 
  110.         
  111.        
  112.          10 
  113.         
  114.        
  115.       
  116.      
  117.     
  118.    
  119.      P(+)cost = \frac{p * cost_{01}}{p*cost_{10} + (1-p) * cost_{10}} 
  120.     
  121.    
  122.  P(+)cost=p∗cost10​+(1−p)∗cost10​p∗cost01​​
  124.   
  125.    
  126.     
  127.     
  128.       c 
  129.      
  130.     
  131.       o 
  132.      
  133.     
  134.       s 
  135.      
  136.      
  137.      
  138.        t 
  139.       
  140.       
  141.       
  142.         n 
  143.        
  144.       
  145.         o 
  146.        
  147.       
  148.         r 
  149.        
  150.       
  151.         m 
  152.        
  153.       
  154.      
  155.     
  156.       = 
  157.      
  158.      
  159.       
  160.       
  161.         F 
  162.        
  163.       
  164.         N 
  165.        
  166.       
  167.         R 
  168.        
  169.       
  170.         ∗ 
  171.        
  172.       
  173.         p 
  174.        
  175.       
  176.         ∗ 
  177.        
  178.       
  179.         c 
  180.        
  181.       
  182.         o 
  183.        
  184.       
  185.         s 
  186.        
  187.        
  188.        
  189.          t 
  190.         
  191.        
  192.          01 
  193.         
  194.        
  195.       
  196.         + 
  197.        
  198.       
  199.         F 
  200.        
  201.       
  202.         P 
  203.        
  204.       
  205.         R 
  206.        
  207.       
  208.         ∗ 
  209.        
  210.       
  211.         ( 
  212.        
  213.       
  214.         1 
  215.        
  216.       
  217.         − 
  218.        
  219.       
  220.         p 
  221.        
  222.       
  223.         ) 
  224.        
  225.       
  226.         ∗ 
  227.        
  228.       
  229.         c 
  230.        
  231.       
  232.         o 
  233.        
  234.       
  235.         s 
  236.        
  237.        
  238.        
  239.          t 
  240.         
  241.        
  242.          10 
  243.         
  244.        
  245.       
  246.       
  247.       
  248.         p 
  249.        
  250.       
  251.         ∗ 
  252.        
  253.       
  254.         c 
  255.        
  256.       
  257.         o 
  258.        
  259.       
  260.         s 
  261.        
  262.        
  263.        
  264.          t 
  265.         
  266.        
  267.          01 
  268.         
  269.        
  270.       
  271.         + 
  272.        
  273.       
  274.         ( 
  275.        
  276.       
  277.         1 
  278.        
  279.       
  280.         − 
  281.        
  282.       
  283.         p 
  284.        
  285.       
  286.         ) 
  287.        
  288.       
  289.         ∗ 
  290.        
  291.       
  292.         c 
  293.        
  294.       
  295.         o 
  296.        
  297.       
  298.         s 
  299.        
  300.        
  301.        
  302.          t 
  303.         
  304.        
  305.          10 
  306.         
  307.        
  308.       
  309.      
  310.     
  311.    
  312.      cost_{norm} = \frac{FNR * p *cost_{01} + FPR * (1-p) * cost_{10}}{p*cost_{01}+(1-p)*cost_{10}} 
  313.     
  314.    
  315.  costnorm​=p∗cost01​+(1−p)∗cost10​FNR∗p∗cost01​+FPR∗(1−p)∗cost10​​

4. 比较检验

本节用

  1.      ϵ 
  2.     
  3.    
  4.   
  5.     \epsilon 
  6.    
  7.   
  8. ϵ ：**错误率**（泛化错误率）
  10.  
  11.   
  12.    
  13.     
  14.     
  15.       ϵ 
  16.      
  17.     
  18.       ^ 
  19.      
  20.     
  21.    
  22.   
  23.     \hat{\epsilon} 
  24.    
  25.   
  26. ϵ^ ：**测试错误率**

4.1 假设检验

  1. 假设

：根据测试集的 

  1. 测试错误率

估推 

  1. 泛化错误率

以下这部分内容公式我没看懂，贴原文希望以后能懂
原文：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2 交叉验证 t 检验

对于两个学习器 A 、B，使用 k 折交叉验证法测得两组错误率 1…k。若两个学习器的性能相同，则第 i 组测试集得到的测试错误率 

  1.       ϵ 
  2.      
  3.     
  4.       i 
  5.      
  6.     
  7.    
  8.   
  9.     \epsilon_i 
  10.    
  11.   
  12. ϵi​ 也应该相同

对相同折下的错误率求差值： 

  1.       Δ 
  2.      
  3.     
  4.       i 
  5.      
  6.     
  7.    
  8.      = 
  9.     
  10.     
  11.     
  12.       ϵ 
  13.      
  14.     
  15.       i 
  16.      
  17.     
  18.       A 
  19.      
  20.     
  21.    
  22.      − 
  23.     
  24.     
  25.     
  26.       ϵ 
  27.      
  28.     
  29.       i 
  30.      
  31.     
  32.       B 
  33.      
  34.     
  35.    
  36.   
  37.     \Delta_i = \epsilon^{A}_i - \epsilon^{B}_i 
  38.    
  39.   
  40. Δi​=ϵiA​−ϵiB​。根据  
  41.  
  42.   
  43.    
  44.     
  45.     
  46.       Δ 
  47.      
  48.     
  49.       1 
  50.      
  51.     
  52.    
  53.      . 
  54.     
  55.    
  56.      . 
  57.     
  58.    
  59.      . 
  60.     
  61.     
  62.     
  63.       Δ 
  64.      
  65.     
  66.       k 
  67.      
  68.     
  69.    
  70.   
  71.     \Delta_1... \Delta_k 
  72.    
  73.   
  74. Δ1​...Δk​ 对 **学习器A 与 学习器B 的性能相同** 的假设做 t 检验，计算出差值的 均值 
  75.  
  76.   
  77.    
  78.    
  79.      μ 
  80.     
  81.    
  82.   
  83.     \mu 
  84.    
  85.   
  86. μ 与 方差 
  87.  
  88.   
  89.    
  90.     
  91.     
  92.       σ 
  93.      
  94.     
  95.       2 
  96.      
  97.     
  98.    
  99.   
  100.     \sigma^2 
  101.    
  102.   
  103. σ2。

若

  1.        τ 
  2.       
  3.      
  4.        t 
  5.       
  6.      
  7.     
  8.       = 
  9.      
  10.      
  11.      
  12.        ∣ 
  13.       
  14.       
  15.        
  16.         
  17.         
  18.           k 
  19.          
  20.         
  21.        
  22.          μ 
  23.         
  24.        
  25.       
  26.         σ 
  27.        
  28.       
  29.      
  30.        ∣ 
  31.       
  32.      
  33.     
  34.    
  35.      \tau_t = \left| \frac{\sqrt k \mu}{\sigma} \right| 
  36.     
  37.    
  38.  τt​=​σk​μ​​

小于临界值（2.7.1），则可认为两个学习器的性能没有差别。否则，平均错误率较小的学习器性能较优

交叉验证法不同轮次的训练集可能会有一定程度重叠，导致测试错误率实际上并不独立，会导致过高估计假设成立的概率。使用 5 x 2 交叉验证 法。做 5 次 2 折交叉验证，每次 2 折交叉验证前将随机数据打乱，使 5 次交验验证中的数据划分不重复。对学习器 A 和 B，分别在第 i 次 2 折交叉验证将产生的两对测试错误率分别求差。为缓解测试错误率的非独立性：
计算第 1 次 2 折交叉验证法产生的两个结果的平均值
计算第 2 折实验结果的方差
在这里插入图片描述
在这里插入图片描述

4.3 McNemar 检验

在这里插入图片描述

4.4 Friedman检验 与 Nemenyi后续检验

交叉验证t检验 和 McNemar检验 是同一数据集上比较 2 个算法的性能。若要比较多个算法性能，可以分别两两比较。或者使用 Friedman检验
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. 偏差与方差

偏差-方差分解（bias-variance decomposition）：解释学习算法泛化性能

学习算法 的期望预测为：
在这里插入图片描述
假定噪声期望为 0，则泛化误差（省略推导过程）：
在这里插入图片描述
可得，
泛化误差 = 偏差 + 方差 + 噪声
偏差：期望预测 与 真实结果的偏离程序
方差：度量同样大小训练集变动（数据扰动）千万的学习性能变化
噪声：学习算法能达到的期望泛化误差的下界

假定能控制学习算法的训练程度：
训练不足，拟合能力不够强，训练数据扰动不足以使学习器产生显著变化，此时偏差主导泛化错误率
训练加强，拟合能力增加，训练数据的扰动能被学习器学到，方差逐渐主导泛化错误率
训练充足后，学习器的拟合能力非常强，训练数据的轻微扰动都会导致学习器发生显著变化
若训练数据不重要的特性都被学习器学到了，则发生过拟合
在这里插入图片描述

标签： 机器学习 人工智能
本文转载自: https://blog.csdn.net/qq_49150070/article/details/137544715
版权归原作者 竹一笔记 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【人工智能 | 机器学习 | 理论篇】模型评估与选择”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？