0


对sklearn中transform()和fit_transform()的深入理解

   在用机器学习解决问题时,往往要先对数据进行预处理。其中,z-score归一化和Min-Max归一化是最常用的两种预处理方式,可以通过sklearn.preprocessing模块导入StandardScaler()和 MinMaxScaler()接口实现,而在调用这两个接口时,有三种方法:fit(), fit_transform() , transform()。

但是,查阅了许多博客以及官方文档,都没有把这几个函数的区别讲清楚。

因此,今天花了半天时间,把这个问题探索清楚。

时间紧张的朋友可以直接跳到第四节去看结论,第一节到第三节是作者结合某个数据集进行验证的过程。

还是先提一下这两个归一化方法。

z-score归一化: x = (x - x的均值)/ x的方差

Min-Max归一化: x = (x - x的最小值) / (x的最大值 - x的最小值)

官方文档:

只有两行文字解释,说了等于没说,。。。= =

So, 下面通过实验来验证。为了让文章更简洁,这里只挑选了项目中的部分代码。

一、处理数据

1、通过 fit_transform() 对训练集进行归一化,这里采用Min-Max归一化

minmaxscaler = MinMaxScaler()
data_train_norm = minmaxscaler.fit_transform(data_train)
data_train_norm = pd.DataFrame(data_train_norm, columns=new_column_name)
data_train_norm.head(3)

2、分别通过调用 fit_transform() 和 transform()处理测试集

data_test_norm_transform = minmaxscaler.transform(data_test)
data_test_norm_transform = pd.DataFrame(data_test_norm_transform, columns=new_column_name)
data_test_norm_fit_transform = minmaxscaler.fit_transform(data_test)
data_test_norm_fit_transform = pd.DataFrame(data_test_norm_fit_transform, columns=new_column_name)

2.1 fit_transform()的结果:

2.2 transform()的结果:

   大家肯定已经发现了,这两个方法产生的结果是不一样的,让我们用密度图画出这三个结果的分布。这边只展示前六列数据的分布图。

黑线:训练集上fit_transform()后的结果
红线:测试集上fit_transform()后的结果
绿线:测试集上transform()后的结果

  可以发现,绿线波峰的位置和黑线是相同的,而红线波峰的位置却不一定和黑线相同。

二、猜测

猜想一:transform() : 在对测试集上的数据进行归一化时,使用的是训练集的最小值和最大值

猜想二:fit_transform():用自己的最小值和最大值进行归一化

三、验证猜想

3.1 验证猜想二

不用sklearn的方法,手动编程。在归一化测试集时,使用测试集自己的最小值和最大值

((data_test - data_test.min()) / (data_test.max()-data_test.min())).head(3)

对比2.1节的结果,可以看到两者是相同的。

所以猜想二正确。

3.2 验证猜想一

在归一化测试集时,使用训练集的最小值和最大值

((data_test - data_train.min()) / (data_train.max()-data_train.min())).head(3)

对比2.2节的结果,发现手动编程的结果与用sklearn中transform()的结果是相同的。

所以猜想一正确。

四、总结

   在用机器学习解决问题时,会将数据集划分成训练集和测试集。我们可以先用fit_transform()方法处理训练集,再用transform()方法处理测试集。这时,在归一化测试集时,使用的是训练集的统计量,这么做是为了让训练集和测试集更相似。使算法在两者上的表现尽可能相同

    而若对测试集使用了fit_transform()方法,则会用测试集自己的统计量来归一化数据。

    在测试集上千万不要混用这两个方法,笔者就因为在测试集上使用了fit_transform()方法,导致测试集上的损失一直比验证集上的大很多!

     还有一个fit()方法没说,这个是最简单的,它和fit_transform()是相同的,只不过后者会返回转换后的结果,而前者是不会返回的,只会训练转换器。

本文转载自: https://blog.csdn.net/tortorish/article/details/123905590
版权归原作者 tortorish 所有, 如有侵权,请联系我们删除。

“对sklearn中transform()和fit_transform()的深入理解”的评论:

还没有评论