登录
首页精彩阅读【从零开始学统计】7.这个P不简单
【从零开始学统计】7.这个P不简单
2014-07-04
收藏

哈哈,楼主此次的标题起得有点粗俗,这个P当然不是屁,而是指软件中那个常常出现的P值。不管有没有学过统计,相信很多同学(包括楼主)在刚开始接触P值时,对它的理解多少有点云里雾里的,以至于在做模型检验的时候往往只关注P值是否小于α,到底拒不拒绝原假设这个问题。但细细想来,却真没对它有过深入了解(当然现在也不怎么深入……)所以,借着做这个系列的空,又把书翻出来看看,去网上找了一些资料,大致理了下思路,算是普及一下概念,希望大牛能够及时点评,加以指导,楼主万分感谢!

Q:简单点说什么是P值?
A:P值就是当原假设为真时,比所得到的样本观察结果更极端的结果出现的概率。如果P值很小,说明原假设情况的发生的概率很小,而如果出现了,根据小概率原理,我们就有理由拒绝原假设,P值越小,我们拒绝原假设的理由越充分。总之,P值越小,表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”还是“高度显著的”需要我们自己根据P值的大小和实际问题来解决。

举个例子:比如,在100次硬币投掷实验中,观察到出现90次正面,10次反面(Q)。怎么样的事件才是“极端的”?简单地说,一个事件很极端,那么少比它本身“更极端”的事件就非常少(比如,只有“91次正面,9次反面”、“91次反面,9次正面”等情况才比它更极端)。

但这个Q只是从一次实验中得出的。我们可以重复做这个实验,比如100次,每次都投掷100次,记录下的正面数X,它构成一个二项分布,X~B(n,p),其中,n=100,p=0.5。根据某个中心极限定理,正态分布是二项分布的极限分布,上面的二项分布可以由均值为np=50,方差为np(1-p)=25的正态分布来近似。我们在这个近似的正态分布的两端来考察所谓“更极端”的事件,那就是正面数大于90或者小于10。

重复一遍,“P值就是当原假设为真时,比所得到的样本观察结果更极端的结果出现的概率”。如果P值很小,就表明,在原假设为真的情况下出现的那个分布里面,只有很小的部分,比出现的这个事件(比如,Q)更为极端。没多少事件比Q更极端,那就很有把握说原假设不对了。

在上述近似的正态分布中,P值就等于X>90 或 X<10的概率值(记做,P{X>90 or X<10})。根据对称性,这个概率值等于2*P{X<10}=1.2442E-15。

上面我们的确求出了一个非常小的P值,但如何不含糊地确定它就是很“极端”呢? 事先确定的显著性水平α,本身就是一个判定法则。只要P值小于显著性水平α,我们就认为,在认为原假设为真的情况下出现的事件Q,是如此地极端,以至于我们不再相信原假设本身。一句话,我们的判定法则是:P值小于显著性水平α,拒绝原假设。
具体说来:
      P值                碰巧出现的概率                  对原假设               统计意义
   P>0.05    碰巧出现的可能性大于5%   不能否定原假设   两组差别无显著意义
   P<0.05    碰巧出现的可能性小于5%   可以否定原假设   两组差别有显著意义
   P <0.01   碰巧出现的可能性小于1%   可以否定原假设   两者差别有非常显著意义

理解P值,下述几点必须注意:
    ⑴P的意义不表示两组差别的大小,P反映两组差别有无统计学意义,并不表示差别大小。比如拿药效做例子,与对照组相比,C药取得P<0.05,D药取得P <0.01并不表示D的药效比C强。
    ⑵若取α=0.05,当P>0.05时,差异无显著意义,根据统计学原理可知,不能拒绝原假设,但并不认为原假设肯定成立(一般也可以说是不拒绝原假设,切记,不拒绝≠接受);当P<0.05时,有显著差异,拒绝原假设。
    ⑶显著性检验只是统计结论。判断差别还要根据专业知识。样所得的样本,其统计量会与总体参数有所不同,这可能是由于两种原因。

Q:如何计算P值?
A:若非考试,一般统计软件都会自带P值;若要手工算,那么——
用Z表示检验的统计量,ZC表示根据样本数据计算得到的检验统计量值。
左侧检验 H0:μ≥μ0 vs H1:μ<μ0
P值是当μ=μ0时,检验统计量小于或等于根据实际观测样本数据计算得到的检验统计量值的概率,即p值 = P(Z≤ZC|μ=μ0)
右侧检验 H0:μ≤μ0 vs H1:μ>μ0
P值是当μ=μ0时,检验统计量大于或等于根据实际观测样本数据计算得到的检验统计量值的概率,即p值 = P(Z≥ZC|μ=μ0)
双侧检验 H0:μ=μ0 vs H1:μ≠μ0
P值是当μ=μ0时,检验统计量大于或等于根据实际观测样本数据计算得到的检验统计量值的概率,即p值 = 2P(Z≥|ZC||μ=μ0)

20080803_1c3d7fd09b8fceea6f14zuQwnJKUxzuf.jpg

Q:所有的检验统计都是正态分布的吗?
A:并不完全如此,但大多数检验都直接或间接与之有关,可以从正态分布中推导出来,如t检验、F检验或卡方检验。这些检验一般都要求:所分析变量在总体中呈正态分布,即满足所谓的正态假设。许多观察变量的确是呈正态分布的,这也是正态分布是现实世界的基本特征的原因。当人们用在正态分布基础上建立的检验分析非正态分布变量的数据时问题就产生了,(参阅非参数和方差分析的正态性检验)。这种条件下有两种方法:一是用替代的非参数检验(即无分布性检验),但这种方法不方便,因为从它所提供的结论形式看,这种方法统计效率低下、不灵活。另一种方法是:当确定样本量足够大的情况下,通常还是可以使用基于正态分布前提下的检验。后一种方法是基于一个相当重要的原则产生的,该原则对正态方程基础上的总体检验有极其重要的作用。即,随着样本量的增加,样本分布形状趋于正态,即使所研究的变量分布并不呈正态。

数据分析咨询请扫描二维码

客服在线
立即咨询