0


如何知道一个变量的分布是否为高斯分布?

“你的输入变量/特征必须是高斯分布的”是一些机器学习模型(特别是线性模型)的要求。但我怎么知道变量的分布是高斯分布呢。本文重点介绍了保证变量分布为高斯分布的几种方法。

本文假定读者对高斯/正态分布有一定的了解。

在本文中,我们将使用来自Scikit-Learn的众所周知的Iris数据。

首先,让我们导入所需的包。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris

#Converting the data from an array to a data frame
X = pd.DataFrame(load_iris()["data"]).copy()

输入特性/变量为[0,1,2,3]

方法一:直方图法

这是第一个和一个简单的方法,用来得到一个变量的分布。让我们画出Iris 数据变量的直方图。

X.hist(figsize=(10,10))

上面的直方图显示变量0和1接近于高斯分布(1似乎是最接近的)。而3和4看起来完全不是高斯的。需要注意的是,直方图可能会产生误导(具体可参考我们以前的文章)。

方法二:密度图(KDE图)

密度图是绘制变量分布的另一种方法。它们与直方图类似,但与直方图相比,它们能更清楚地显示变量的分布情况。

fig,ax = plt.subplots(2,2,figsize=(10,10))
row = col = 0
for n,c in enumerate(X.columns):
    if (n%2 == 0) & (n > 0):
        row += 1
        col = 0
    X[c].plot(kind="kde",ax=ax[row,col])
    ax[row,col].set_title(c)
    col += 1

现在我可以看到变量0和1比在直方图中显示的更高斯化。变量2和3看起来也有点接近高斯分布,除了两个峰值。

方法三:Q-Q图

Q-Q图根据指定的分布绘制数据。在这种情况下,指定的分布将是“norm”。

在Python中,Q-Q plot可以使用' scipy '的' probplot '函数绘制。如下所示。

from scipy.stats import probplotfor i in X.columns:
    probplot(x=X[i],dist='norm',plot=plt)
    plt.title(i)
    plt.show()

从上面的Q-Q图可以看出,变量0和1紧密地跟随红线(正态/高斯分布)。而变量2和3在一些地方远离红线,这使它们远离了高斯分布。Q-Q图比直方图和密度图更可靠。

方法四:Shapiro-Wilk检验

夏皮罗-威尔克(Shapiro-Wilk)检验是一项针对正态性的统计检验。这是用于检验正态性的定量方法。Shapiro-Wilk检验通过检验零假设:即数据是从正态分布中提取的。来确定是否是正态分布

在Python中,可以使用' scipy '的' shapiro '函数执行shapiro - wilk检验。如下所示。

from scipy.stats import shapiro

for i in X.columns:
    print(f'{i}: {"Not Gaussian" if shapiro(X[i])[1]<0.05 else "Gaussian"}  {shapiro(X[i])}')

从上面的结果可以看出,只有变量1是高斯型的。

Shapiro-Wilk检验的一个缺点是,一旦样本大小(或变量的长度)超过5,000,就不可靠。

方法五:Kolmogorov-Smirnov检验

Kolmogorov-Smirnov检验是一项拟合优度的统计检验。此测试比较两个分布(在这种情况下,两个分布之一是高斯分布)。此检验的零假设是,两个分布相同(或),两个分布之间没有差异。

在Python中,可以使用“ scipy.stats”模块的“ kstest”执行Kolmogorov-Smirnov测试,如下所示。

首先,我们将对随机生成的正态分布进行测试。

from scipy.stats import kstest

np.random.seed(11)
normal_dist = np.random.randn(1000)
pd.Series(normal_dist).plot(kind="kde")
print(f'{"Not Gaussian" if kstest(normal_dist,"norm")[1]<0.05 else "Gaussian"}  {kstest(normal_dist,"norm")}')

现在我们将对Iris数据进行测试。

from scipy.stats import kstest

for i in X.columns:
    print(f'{i}: {"Not Gaussian" if kstest(X[i].values,"norm")[1]<0.05 else "Gaussian"}  {kstest(X[i].values,"norm")}')

以上结果表明,没有变量具有高斯分布。Kolmogorov-Smirnov检验期望输入变量具有理想的正态分布。

方法六:D’Agostino和Pearson的法

此方法使用偏度和峰度测试正态性。该检验的零假设是,分布是从正态分布中得出的。

在Python中,可以使用“ scipy.stats”模块的“ normaltest”功能执行此测试,如下所示。

from scipy.stats import normaltest
for i in X.columns:
    print(f'{i}: {"Not Gaussian" if normaltest(X[i].values,)[1]<0.05 else "Gaussian"}  {normaltest(X[i].values)}')

以上结果表明变量0和1为高斯。此测试并不期望分布是完全正态分布,而是接近正态分布。

总结

这些是用于测试数据正常性的许多方法中的几种。我个人更喜欢结合以上所有方法来确定变量的分布是否为高斯分布,同时要牢记所使用的数据,问题和模型。

作者:KSV Muralidhar

原文地址:https://ksvmuralidhar.medium.com/how-would-i-know-if-my-variable-distribution-is-gaussian-c3b215383469

deephub翻译组

标签:

“如何知道一个变量的分布是否为高斯分布?”的评论:

还没有评论