深入理解机器学习——数据预处理：归一化 （Normalization）与标准化 （Standardization）

分类目录：《深入理解机器学习》总目录

归一化 （Normalization）和标准化 （Standardization）都是特征缩放的方法。特征缩放是机器学习预处理数据中最重要的步骤之一，可以加快梯度下降，也可以消除不同量纲之间的差异并提升模型精度。

归一化（Normalization）是将一组数据变换到某个固定区间中。通常，将映射到

     [ 
    
   
     0 
    
   
     ， 
    
   
     1 
    
   
     ] 
    
   
  
    [0，1] 
   
  
[0，1]区间，而图像中可能会映射到 
 
  
   
   
     [ 
    
   
     0 
    
   
     , 
    
   
     255 
    
   
     ] 
    
   
  
    [0,255] 
   
  
[0,255]，其他情况还可能映射到 
 
  
   
   
     [ 
    
   
     − 
    
   
     1 
    
   
     , 
    
   
     1 
    
   
     ] 
    
   
  
    [-1,1] 
   
  
[−1,1]。而标准化（Standardization）是在不改变原始的数据分布的情况下，将数据的分布变换为均值为0，标准差为1。所以标准化也可以视为一种特殊的归一化，故我们也称标准化为Z值归一化。

• 标准化（Standardization）/Z值归一化（Z-Score Normalization）： x i ′ = x i − x mean σ ( x ) x_i'=\frac{x_i-x_\text{mean}}{\sigma(x)} xi′​=σ(x)xi​−xmean​​
• 最大最小值归一化（Min-Max Normalization）： x i ′ = x i − x min x max − x min x_i'=\frac{x_i-x_\text{min}}{x_\text{max}-x_\text{min}} xi′​=xmax​−xmin​xi​−xmin​​
• 均值归一化（Mean Normalization） x i ′ = x i − x mean x max − x min x_i'=\frac{x_i-x_\text{mean}}{x_\text{max}-x_\text{min}} xi′​=xmax​−xmin​xi​−xmean​​