定义

p 值：在原假设（null hypothesis）为真的前提下，观察到当前结果或更极端结果的概率。

通俗但不精确的说法："如果治疗真的无效，我们看到这么大差异的可能性有多大？"

关键：p 值是关于数据的概率（在原假设下），不是关于假设的概率。

常见误用

误用一："p < 0.05 说明原假设有 5% 的概率为真"

错。

p 值不等于"原假设为真的概率"，也不等于"结论错误的概率"。

p 值无法直接告诉你假设成立的概率——那是贝叶斯方法关心的问题。

误用二："p = 0.03 说明效应很强"

错。

p 值受样本量和效应量共同影响：

  • 大样本下，极小的效应也可能达到 p < 0.05；
  • 小样本下，很大的效应也可能 p > 0.05。

因此应该同时报告效应量（Effect Size） ——如均值差、相关系数、风险比，以及它们的置信区间。

误用三："p > 0.05 说明没有效应"

错。

"未能拒绝原假设" ≠ "证明原假设成立"。

可能只是样本量不足（统计功效不够）。

正确表述："在本研究的样本量下，未检测到具有统计显著性的差异。"

误用四：p 值操纵（p-hacking）

做法：反复尝试不同的分析方式（不同的变量组合、剔除离群值、不同的分组），直到得到 p < 0.05 的结果，然后只报告这个。

后果：名义上的 5% 假阳性率，实际可能高得多。

这被认为是"可重复性危机"的重要原因之一。

应对：

  • 预先注册（Pre-registration）：在分析前公开研究假设和分析计划；
  • 报告所有分析的结果（而非只报告显著的）；
  • 多重比较校正（如 Bonferroni、FDR）；
  • 重复验证。

误用五：把 0.05 当作绝对门槛

0.049 和 0.051 之间没有实质差别——但很多研究把它们当作"有效"与"无效"的分界。

更好的实践

一、报告效应量和置信区间

置信区间给出了效应可能范围的估计——比单一的 p 值信息量大得多。

一个"差异 = 5，95% CI [1, 9]"的结果，比"p = 0.03"有意义得多。

二、关注实际意义

统计显著 ≠ 实际重要。

一个药能降低血压 1 mmHg 且 p < 0.001——统计上显著，但临床上可能毫无意义。

三、预注册与透明报告

在研究开始前公开假设和方法，减少事后调整的空间。

四、重复实验

单次研究的 p 值不足以作为最终结论——可重复性是科学的基石。

五、综合判断

p 值只是证据的一部分，还应考虑：

  • 研究设计的质量；
  • 效应量；
  • 先验 plausibility（机制是否合理）；
  • 与已有研究的一致性。

一个补充：贝叶斯方法

贝叶斯统计可以直接回答"假设为真的概率是多少"——通过先验概率和似然计算后验概率。

优势：更符合直觉的回答方式，能自然地整合先验知识。

争议：先验的选择带有主观性。

近年趋势：很多学科在倡导超越单一的"p < 0.05"框架，采用更丰富的统计报告方式（效应量、置信区间、贝叶斯因子等）。

说明：本文为统计学的知识整理。