作者 | Amond Lee

即使是没有任何统计学基础的读者朋友可能也听说过「p 值」，但是鲜有文章能够清楚解释 p 值是什么，以及 p 值在统计学中的作用。本文是 TowardDataScience 的一篇博文，作者条理清楚地解释了 p 值的相关内容，并给出了一个简单的例子，适合读者参考。

还记得我作为暑期实习生第一次在 CERN 海外实习时，大多数人都在讨论，要超过「5-sigma」阈值（这意味着 p 值为 0.0000003）才能确认发现了希格斯玻色子。

那时我对 p 值、假设检验甚至统计显著一无所知。

直到进入数据科学领域后，我终于意识到了 p 值的含义，以及在某些实验中，p 值是如何成为决策工具的一部分的。

因此，我决定在这篇文章中解释什么是 p 值以及如何在假设检验中使用 p 值。希望能帮你更好、更直观地理解 p 值。

本文共分四个部分，从假设检验到理解 p 值，以及根据 p 值指导我们的决策过程。我强烈建议你仔细阅读全文，以便详细地了解 p 值：

1. 假设检验；
2. 正态分布；
3. 什么是 p 值；
4. 统计显著性。

假设检验

假设检验

在讨论 p 值的意义之前，我们先理解一下假设检验。在假设检验中，常用 p 值确定结果的统计显著性。

我们的最终目标是确定结果的统计显著性。而统计显著性建立在这 3 个简单概念之上：

• 假设检验
• 正态分布
• p 值

假设检验是用来通过一组数据检验针对总体的声明（零假设）有效性的。如果零假设不成立，我们就会相信备择假设。

换句话说，我们需要提出声明（零假设），并用样本数据来检验声明是否有效。如果声明是无效的，就选择备择假设。就这么简单。

而要知道声明是否有效，就要用 p 值来衡量证据的强度，从而了解到它是否有统计显著性。如果证据支持备择假设，那就拒绝零假设并接受备择假设。后面的章节中会解释这些内容。

我们举个例子来更清晰地说明这一概念，这个例子会贯穿全文同时说明其他概念。

假设某个披萨店声称，他们的平均配送时间小于等于 30 分钟，但你认为他们的配送时间不止 30 分钟。所以你做了假设检验，对配送时间随机采样来检验这一说法：

• 零假设——平均配送时间小于等于 30 分钟；
• 备择假设——平均配送时间大于 30 分钟。

这里的目标是确定样本数据中的证据能更好地支持哪种假设（零假设或备择假设）。

本例中用的是单尾检验，因为我们只想知道平均配送时间是否大于 30 分钟。

因为配送时间小于等于 30 分钟都是可以接受的，因此我们忽略另一个方向的可能性。这里想要检验的是平均配送时间是否会大于 30 分钟。换句话说，我们想知道披萨店是否在某种角度上骗了我们。

假设检验的常用方法之一是 Z 检验。这里我们不讨论细节，因为我们想要先理解表面的内容，然后再深入。

正态分布

平均值为 μ 标准差为 σ 的正态分布

正态分布是用来观察数据分布的概率密度函数。

正态分布有两个参数——平均值（μ）和标准差（σ）。

均值是分布的集中趋势。它决定了正态分布峰值的位置。标准差是衡量可变性的标准，它决定了均值到值的下降幅度。

正态分布通常和 68-95-99.7 规则（上图所示）相关：

• 68% 的数据在平均值（μ）±1 个标准差（σ）内；
• 95% 的数据在平均值（μ）±2 个标准差（σ）内；
• 99.7% 的数据在平均值（μ）±3 个标准差（σ）内。

还记得文章开头说的发现希格斯玻色子的「5-sigma」阈值吗？在科学家证实发现希格斯玻色子之前，5-sigma 约为数据的「99.9999426696856%」。设置这么严格的阈值是为了避免潜在的错误信号。

好了。现在你可能想知道「正态分布是如何应用在假设检验中的」。

因为是用 Z 检验进行假设检验的，因此要计算 Z 分数（用于检验统计量），这是数据点到平均值的标准偏差数。在本文的例子中，每个数据点都是收集到的披萨配送时间。

计算每个数据点的 Z 分数的公式。

对每个披萨配送时间点计算 Z 分数，并绘制出标准正态分布曲线时，x 轴上的单位从分钟变成了标准差单位，因为已经通过计算（变量减去平均值再除以标准差，见上述公式）将变量标准化了。

标准正态分布曲线是很有用的，因为我们可以比较测试结果和在标准差中有标准单位的「正态」总体，特别是在变量的单位不同的情况下。

Z 分数的标准正态分布

Z 分数可以告诉我们整个数据相对于总体平均值的位置。

我喜欢 Will Koehrsen 的说法——Z 分数越高或越低，结果就越不可能偶然发生，结果就越有可能有意义。

但多高（低）才足以说明结果是有意义的呢？

这就是解决这个难题的最后一片拼图——p 值。根据实验开始前设定的显著水平（alpha）检验结果是否具有统计学意义。

什么是 P 值

与其用维基百科给出的定义来解释 p 值，不如用文中的披萨配送时间为例来解释它。

对披萨配送时间随机采样，目的是检查平均配送时间是否大于 30 分钟。如果最终的结果支持披萨店的说法（平均配送时间小于等于 30 分钟），那就接受零假设。否则，就拒绝零假设。

因此，p 值的工作就是回答这个问题：

如果我生活在披萨配送时间小于等于 30 分钟（零假设成立）的世界中，那我在真实世界中得到的证据有多令人惊讶？

p 值用数字（概率）回答了这一问题。

p 值越低，证据越令人惊讶，零假设越荒谬。

当零假设很荒谬的时候还能做什么？可以拒绝零假设并转而选择备择假设。

如果 p 值低于之前定义的显著水平（人们一般将它称为 alpha，但我将它称之为荒谬阈值——别问为什么，我只是觉得这样更容易理解），那么就可以拒绝零假设。

现在我们理解了 p 值是什么意思。接下来把 p 值用到文中的例子中。

现在已经抽样得到了一些配送时间，计算后发现平均配送时间要长 10 分钟，p 值为 0.03。

这意味着在披萨配送时间小于等于 30 分钟（零假设成立）的世界中，由于随机噪声的影响，我们有 3% 的概率会看到披萨配送时间延长了至少 10 分钟。

p 值越低，结果越有意义，因为它不太可能是由噪声引起的。

大多数人对于 p 值都有一个常见的误解：

p 值为 0.03 意味着有 3%（概率百分比）的结果是偶然决定的——这是错误的。

人们都想得到确切的答案（包括我），而这也是我在很长时间内都对 p 值的解释感到困惑的原因。

p 值不能证明任何事。这只是一种根据惊讶程度做出合理决策的基础方法。Cassie Kozyrkov

我们是如何用 0.03 的 p 值来做出合理决策的（重点）：

1. 想象我们生活在平均配送时间小于等于 30 分钟的世界——因为我们信任披萨店（我们最初的信念）！
2. 分析收集的配送时间样本后，p 值为 0.03，低于 0.05 的置信水平（假设在实验之前就设置好了），因此可以说结果是具有*统计显著性*的。
3. 因为我们一直相信披萨店可以在 30 分钟内配送披萨，现在需要考虑的是这一信念是否仍然有意义，因为结果告诉我们，披萨店没能兑现承诺，而且结果是具有统计学意义的。
4. 那该怎么办？我们先试着用各种方法使初始信念（零假设）成立。但是因为披萨店的口碑越来越差，并且经常找导致配送延迟的借口，我们自己都觉得再相信披萨店是很可笑的事情，因此，我们决定拒绝零假设。
5. 最终，我们做出了不再从这家披萨店买披萨的合理决定。

到现在为止，你可能已经注意到了，在上面的例子中，p 值不能证明或决定任何事。

在我看来，当结果有统计学意义时，p 值可以作为挑战初始信念（零假设）的工具。在我们认为自己的信念荒谬（假设 p 值表明结果具有统计显著性）的那一刻，就放弃了自己的初始信念（拒绝零假设）并做出了更合理的决定。

统计显著性

这是最后一步，将所有内容放在一起，并检验结果是否有统计学意义。

只有 p 值是不够的，还要设定阈值（即显著水平——alpha）。为了避免偏差，实验开始之前就应该设定 alpha。如果观测的 p 值小于 alpha，那就可以得出结论——结果具有统计显著性。

经验法则一般将 alpha 设定为 0.05 或 0.01（同样，值取决于你的问题）。

如上文所述，假设在实验开始前将 alpha 设置为 0.05，得到的结果具有统计显著性，因为 p 值（0.03）小于 alpha。

为便于参考，整个实验的基本步骤如下：

1. 陈述零假设；
2. 陈述备择假设；
3. 确定 alpha 值；
4. 找到和 alpha 水平相关的 Z 分数；
5. 根据公式计算检验统计量；
6. 如果检验统计量的值比 alpha 水平的 Z 分数小（或 p 值小于 alpha 值），拒绝零假设。否则，接受零假设。

步骤 5 计算检验统计量的公式。