0


【机器学习】梯度下降之数据标准化

在这里插入图片描述

文章目录

前言

吴恩达机器学习学习笔记 ,看完文章大概需要三分钟

问题分析

在线性回归中,尤其是多变量回归模型,由于各个的数据之间量化纲位不同,如果数
据范围分别是是【0~1000,0 ~5】或者【-0.00004 ~ 0.00002,10 ~ 30】, 那么在使用梯度下降算法时,他们的等高线是一个又窄又高的等高线,如下图:
在这里插入图片描述

因为一个他们量化纲位不同会出现 (1,299),(3,800) 这种特征实例,那么等高线就会又窄又高,在梯度下降算法中,参数更新就会如上图左右震荡,

3D可视化

如下图:代价函数(就是回归模型的预测值和实际值的差的平方和)的3D图,就像下山一样,为了达到局部最优点或全局最优点,作为下山者,你肯定希望地形比较平缓,比较清楚的知道往哪里走能够最快下山,而如果这个山又陡又窄,那下山者是不是下山肯定速度慢很多,往哪里都是下降,不能准确找到方向。

理想的代价函数在这里插入图片描述
但实际往往都是下图的情况
在这里插入图片描述

解决方法

那么为了梯度下降算法特征下降的更快,更快收敛,我们就需要对各个数据进行数据标准化, 例如:

第一个特征

X0

量化纲位为: 0 ~ 2000
其平均值记为

u0

:1000 ,
第二个特征

X1

量化纲位为: 1 ~ 5
其平均值记为

u1

:2

此时我们对其数据标准化使其为平均值为0的情况,操作如下:

  • X0 = (X0 - u0)/ X0量化纲位
  • X1 = (X1 - u1)/ X1量化纲位

这样

x0

,

x1

的量化纲位都在-1 ~ 1了,
就实现了数据标准化

特别注释:

我们在进行数据标准化不需要太精确的结果,对于结果不一定都要 0 ~ 1,0 ~ 2也可以接受,因为我们目的已经达到了,让“山”没那么陡峭,方便下山
如果对应数据量化纲位有 0 ~ 3,-3~ 3 ,这种其实还可以接受,不需要数据标准化


本文转载自: https://blog.csdn.net/weixin_66526635/article/details/125199489
版权归原作者 计算机魔术师 所有, 如有侵权,请联系我们删除。

“【机器学习】梯度下降之数据标准化”的评论:

还没有评论