“你的输入变量/特征必须是高斯分布的”是一些机器学习模型(特别是线性模型)的要求。但我怎么知道变量的分布是高斯分布呢。本文重点介绍了保证变量分布为高斯分布的几种方法。
本文假定读者对高斯/正态分布有一定的了解。
在本文中，我们将使用来自Scikit-Learn的众所周知的Iris数据。
首先，让我们导入所需的包。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
#Converting the data from an array to a data frame
X = pd.DataFrame(load_iris()["data"]).copy()
输入特性/变量为[0,1,2,3]
方法一:直方图法
这是第一个和一个简单的方法，用来得到一个变量的分布。让我们画出Iris 数据变量的直方图。
X.hist(figsize=(10,10))
上面的直方图显示变量0和1接近于高斯分布(1似乎是最接近的)。而3和4看起来完全不是高斯的。需要注意的是，直方图可能会产生误导（具体可参考我们以前的文章）。
方法二:密度图(KDE图)
密度图是绘制变量分布的另一种方法。它们与直方图类似，但与直方图相比，它们能更清楚地显示变量的分布情况。
fig,ax = plt.subplots(2,2,figsize=(10,10))
row = col = 0
for n,c in enumerate(X.columns):
if (n%2 == 0) & (n > 0):
row += 1
col = 0
X[c].plot(kind="kde",ax=ax[row,col])
ax[row,col].set_title(c)
col += 1
现在我可以看到变量0和1比在直方图中显示的更高斯化。变量2和3看起来也有点接近高斯分布，除了两个峰值。
方法三:Q-Q图
Q-Q图根据指定的分布绘制数据。在这种情况下，指定的分布将是“norm”。
在Python中，Q-Q plot可以使用' scipy '的' probplot '函数绘制。如下所示。
from scipy.stats import probplotfor i in X.columns:
probplot(x=X[i],dist='norm',plot=plt)
plt.title(i)
plt.show()
从上面的Q-Q图可以看出，变量0和1紧密地跟随红线(正态/高斯分布)。而变量2和3在一些地方远离红线，这使它们远离了高斯分布。Q-Q图比直方图和密度图更可靠。
方法四:Shapiro-Wilk检验
夏皮罗-威尔克(Shapiro-Wilk)检验是一项针对正态性的统计检验。这是用于检验正态性的定量方法。Shapiro-Wilk检验通过检验零假设：即数据是从正态分布中提取的。来确定是否是正态分布
在Python中，可以使用' scipy '的' shapiro '函数执行shapiro - wilk检验。如下所示。
from scipy.stats import shapiro
for i in X.columns:
print(f'{i}: {"Not Gaussian" if shapiro(X[i])[1]<0.05 else "Gaussian"} {shapiro(X[i])}')
从上面的结果可以看出，只有变量1是高斯型的。
Shapiro-Wilk检验的一个缺点是，一旦样本大小（或变量的长度）超过5,000，就不可靠。
方法五：Kolmogorov-Smirnov检验
Kolmogorov-Smirnov检验是一项拟合优度的统计检验。此测试比较两个分布（在这种情况下，两个分布之一是高斯分布）。此检验的零假设是，两个分布相同（或），两个分布之间没有差异。
在Python中，可以使用“ scipy.stats”模块的“ kstest”执行Kolmogorov-Smirnov测试，如下所示。
首先，我们将对随机生成的正态分布进行测试。
from scipy.stats import kstest
np.random.seed(11)
normal_dist = np.random.randn(1000)
pd.Series(normal_dist).plot(kind="kde")
print(f'{"Not Gaussian" if kstest(normal_dist,"norm")[1]<0.05 else "Gaussian"} {kstest(normal_dist,"norm")}')
现在我们将对Iris数据进行测试。
from scipy.stats import kstest
for i in X.columns:
print(f'{i}: {"Not Gaussian" if kstest(X[i].values,"norm")[1]<0.05 else "Gaussian"} {kstest(X[i].values,"norm")}')
以上结果表明，没有变量具有高斯分布。Kolmogorov-Smirnov检验期望输入变量具有理想的正态分布。
方法六：D’Agostino和Pearson的法
此方法使用偏度和峰度测试正态性。该检验的零假设是，分布是从正态分布中得出的。
在Python中，可以使用“ scipy.stats”模块的“ normaltest”功能执行此测试，如下所示。
from scipy.stats import normaltest
for i in X.columns:
print(f'{i}: {"Not Gaussian" if normaltest(X[i].values,)[1]<0.05 else "Gaussian"} {normaltest(X[i].values)}')
以上结果表明变量0和1为高斯。此测试并不期望分布是完全正态分布，而是接近正态分布。
总结
这些是用于测试数据正常性的许多方法中的几种。我个人更喜欢结合以上所有方法来确定变量的分布是否为高斯分布，同时要牢记所使用的数据，问题和模型。
作者：KSV Muralidhar
deephub翻译组