数学建模——相关系数

总体 ——所要考察对象的全部个体叫做总体。我们总是希望得到总体数据的一些特征（例如均值方差等）

样本 ——从总体中所抽取的一部分个体叫做总体的一个样本。

总体皮尔森Pearson相关系数：

均值和协方差：

直观理解协方差：如果X、Y变化方向相同，即当X大于（小于）其均值时，Y也大于（小于）其均值，在这两种情况下，乘积为正。如果X、Y的变化方向一直保持相同，则协方差为正；同理，如果X、Y变化方向一直相反，则协方差为负；如果X、Y变化方向之间相互无规律，即分子中有的项为正，有的项为负，那么累加后正负抵消。

注意：协方差的大小和两个变量的量纲有关，因此不适合做比较。

皮尔逊相关系数也可以看成是剔除了两个变量量纲影响，即将X和Y标准化后的协方差。

样本皮尔森Pearson相关系数

相关性的可视化

通过绘制散点图可以很容易判断样本之间的相关性。

关于皮尔森相关系数的理解误区

上面四个散点图对应的数据的皮尔逊相关系数均为0.816。

冰激凌的销量和温度之间的关系：

相关系数计算结果为0

这里的相关系数只是用来衡量两个变量线性相关程度的指标；
也就是说，你必须先确认这两个变量是线性相关的，然后这个相关系数才能告诉你他俩相关程度如何。

（1）非线性相关也会导致线性相关系数很大，例如X2，Y2。
（2）离群点对相关系数的影响很大，例如X3,Y3，去掉离群点后，相关系数为0.98。
（3）如果两个变量的相关系数很大也不能说明两者相关，例如X4,Y4，可能是受到了异常值的影响。
（4）相关系数计算结果为0，只能说不是线性相关，但说不定会有更复杂的相关关系（非线性相关），例如冰淇淋与温度之间的关系。

总结：

（1）如果两个变量本身就是线性的关系，那么皮尔逊相关系数绝对值大的就是相关性强，小的就是相关性弱；
（2）在不确定两个变量是什么关系的情况下，即使算出皮尔逊相关系数，发现很大，也不能说明那两个变量线性相关，甚至不能说他们相关，我们一定要画出散点图来看才行。

例：现有某中学八年级所有女学生的体测样本数据，请见下表，试计算各变量之间的皮尔逊相关系数。

Matlab中基本统计量的函数（一般用标粗的）：

第一步：获取数据的描述性统计结果

clear;clc
load 'physical fitness test.mat' %文件名如果有空格隔开，那么需要加引号
%% 统计描述
MIN = min(Test); % 每一列的最小值
MAX = max(Test); % 每一列的最大值
MEAN = mean(Test); % 每一列的均值
MEDIAN = median(Test); %每一列的中位数
SKEWNESS = skewness(Test); %每一列的偏度
KURTOSIS = kurtosis(Test); %每一列的峰度
STD = std(Test); % 每一列的标准差
RESULT = [MIN;MAX;MEAN;MEDIAN;SKEWNESS;KURTOSIS;STD] %将这些统计量放到一个矩阵中表示

第二步：画出散点图，判断各指标之间的线性相关性

第三步：计算相关系数

R = corrcoef(A)
返回 A 的相关系数的矩阵，其中 A 的列表示随机变量（指标），行表示观测值（样本）。
R = corrcoef(A,B)
返回两个随机变量 A 和 B （两个向量）之间的系数。
我们要计算体测的六个指标之间的相关系数，只需要使用下面这个语句：
R = corrcoef(Test);

第四步：对皮尔逊相关系数进行假设检验

在数理统计中，这里的原假设和备择假设中的𝑟应该改为𝜌, 其中𝜌为未知的总体相关系数，实际上我们关心的是总体的统计特征。但为了方便大家理解，在这里我们做了简化，非统计专业的同学理解到这个程度就足够了。

对皮尔逊相关系数进行假设检验

P值判断法

%% 计算p值
x = -4:0.1:4;
y = tpdf(x,28);
figure(2)
plot(x,y,'-')
grid on
hold on
% 画线段的方法
plot([-3.055,-3.055],[0,tpdf(-3.055,28)],'r-')
plot([3.055,3.055],[0,tpdf(3.055,28)],'r-')
disp('该检验值对应的p值为：')
disp((1-tcdf(3.055,28))*2) %双侧检验的p值要乘以2

%% 计算各列之间的相关系数以及p值
[R,P] = corrcoef(Test)
% 在EXCEL表格中给数据右上角标上显著性符号吧
P < 0.01 % 标记3颗星的位置
(P < 0.05) .* (P > 0.01) % 标记2颗星的位置
(P < 0.1) .* (P > 0.05) % % 标记1颗星的位置

皮尔森相关系数的假设检验：

第一， 实验数据通常假设是成对的来自于正态分布的总体。因为我们在求皮尔逊相关性系数以后，通常还会用t检验之类的方法来进行皮尔逊相关性系数检验，而t检验是基于数据呈正态分布的假设的。
第二， 实验数据之间的差距不能太大。皮尔逊相关性系数受异常值的影响比较大。
第三：每组样本之间是独立抽样的。构造t统计量时需要用到。

正态分布JB检验（大样本 n>30）

偏度和峰度：

% 正态分布的偏度和峰度
x = normrnd(2,3,100,1); % 生成100*1的随机向量，每个元素是均值为2，标准差为3的正态分布
skewness(x) %偏度
kurtosis(x) %峰度
qqplot(x)

小样本3≤n≤50：Shapiro-wilk检验：

QQ图

在统计学中，Q‐Q图（Q代表分位数Quantile）是一种通过比较两个概率分布的分位数对这两个概率分布进行比较的概率图方法。首先选定分位数的对应概率区间集合，在此概率区间上，点(x,y)对应于第一个分布的一个分位数x和第二个分布在和x相同概率区间上相同的分位数。
这里，我们选择正态分布和要检验的随机变量，并对其做出QQ图，可想而知，如果要检验的随机变量是正态分布，那么QQ图就是一条直线。
要利用Q‐Q图鉴别样本数据是否近似于正态分布,只需看Q‐Q图上的点是否近似地在一条直线附近。（要求数据量非常大）

斯皮尔曼spearman相关系数

另一种斯皮尔曼相关系数的定义：

斯皮尔曼相关系数和皮尔逊相关系数选择:
1.连续数据，正态分布，线性关系，用pearson相关系数是最恰当，当然用spearman相关系数也可以， 就是效率没有pearson相关系数高。
2.上述任一条件不满足，就用spearman相关系数，不能用pearson相关系数。
3.两个定序数据之间也用spearman相关系数，不能用pearson相关系数。定序数据是指仅仅反映观测对象等级、顺序关系的数据，是由定序尺度计量形成的，表现为类别，可以进行排序，属于品质数据。
例如：优、良、差；
我们可以用1表示差、2表示良、3表示优，但请注意，用2除以1得出的2并不代表任何含义。定序数据最重要的意义代表了一组数据中的某种逻辑顺序。
注：斯皮尔曼相关系数的适用条件比皮尔逊相关系数要广，只要数据满足单调关系（例如线性函数、指数函数、对数函数等）就能够使用。