什么是辛普森悖论

辛普森悖论（Simpson's Paradox）：在分组比较中都占优的一方，在合并后的总体比较中反而处于劣势。

换句话说：数据的趋势在分组中是一个方向，合并后却反了过来。

经典案例：加州大学伯克利分校的招生

1973 年，伯克利被指控招生存在性别歧视：

  • 总体录取率：男性 44%，女性 35%——差距明显。

但按院系细分后发现：在绝大多数院系中，女性的录取率不低于男性。

怎么可能？

解释：女性申请者更多地集中在录取率低的院系（如竞争激烈的文科专业），而男性申请者更多集中在录取率高的院系（如工程）。

因此：院系的录取率差异（一个混杂变量）掩盖了真实的录取倾向。

结论：在控制院系变量后，并不存在对女性的系统性歧视（虽然这个故事的完整分析更复杂，后续研究也指出了其他问题）。

一个简化的数字例子

假设有两种治疗（A 和 B），用于轻症和重症患者：

轻症患者：

  • 治疗 A：80 人治疗，72 人治愈 → 90%
  • 治疗 B：20 人治疗，18 人治愈 → 90%
    （相同）

重症患者：

  • 治疗 A：20 人治疗，4 人治愈 → 20%
  • 治疗 B：80 人治疗，8 人治愈 → 10%
    （A 更好）

合并后：

  • 治疗 A：100 人治疗，76 人治愈 → 76%
  • 治疗 B：100 人治疗，26 人治愈 → 26%

等等，这个例子 A 在两个分组和总体都更好。让我换一个更标准的例子。

轻症：

  • A：80/100 = 80%（治疗了 100 人中的绝大多数）
  • B：7/10 = 70%

重症：

  • A：2/10 = 20%
  • B：30/100 = 30%

分组：A 在轻症更优（80% > 70%），但 B 在重症更优（30% > 20%）。

合并：

  • A 总：82/110 = 74.5%
  • B 总：37/110 = 33.6%

嗯，这个构造不对。让我用经典构造：

轻症组：

  • A：8/10 = 80%
  • B：75/100 = 75%
    → A 更好

重症组：

  • A：20/100 = 20%
  • B：1/10 = 10%
    → A 更好

合并：

  • A：28/110 ≈ 25.5%
  • B：76/110 ≈ 69.1%
    → 咦，还是不对。

正确构造应该是：效果好但多用于重症的那组，合并后反而差。

轻症组（本身治愈率高）：

  • A：80/100 = 80%
  • B：7/10 = 70%
    → A 好

重症组（本身治愈率低）：

  • A：3/10 = 30%
  • B：20/100 = 20%
    → A 好

合并：

  • A：(80+3)/(100+10) = 83/110 ≈ 75.5%
  • B：(7+20)/(10+100) = 27/110 ≈ 24.5%

还是 A 好。问题出在 A 在两组中样本都更多。

正确的构造：让某组在治疗 A 中占比更高。

轻症组（治愈率高，80%）：

  • A：8/10 = 80%
  • B：45/50 = 90% ← B 更好

重症组（治愈率低，30%）：

  • A：15/50 = 30%
  • B：2/10 = 20% ← A 更好

合并：

  • A：23/60 ≈ 38.3%
  • B：47/60 ≈ 78.3%

咦，这也不是悖论。

关键：要让 B 在两组都更差，但合并后更好。这要求 B 更多地被用于治愈率高的组。

轻症组（治愈率高）：

  • A：8/10 = 80%
  • B：45/50 = 90%
    → B 更好（不是 A）

好，我重新构造：让 A 在两组都更好，但 A 更多用于重症组。

轻症组（基础治愈率 80%）：

  • A：8/10 = 80%
  • B：72/100 = 72%
    → A 更好

重症组（基础治愈率 30%）：

  • A：35/100 = 35%
  • B：3/10 = 30%
    → A 更好

合并：

  • A：(8+35)/(10+100) = 43/110 ≈ 39.1%
  • B：(72+3)/(100+10) = 75/110 ≈ 68.2%
    → B 合并后更好！

成功了。 原因：A 被大量用于重症组（100 人），而重症组本身治愈率低，拉低了 A 的整体表现；B 主要用于轻症组（100 人），拉高了 B 的整体数字。

这就是辛普森悖论：A 在每个子组都更好，但因为用在了更"难"的病例上，总体数字反而更差。

为什么会这样

存在一个混杂变量（这里是"病情严重程度"），它同时影响：

  • 分组（患者被分到哪个子组）；
  • 结果（治愈率）。

当混杂变量在两组中的分布不均时，简单合并会产生误导。

如何避免

一、不要只看汇总数据

主动分层（stratify）：按关键变量分组后再看。

关键问题："分组的依据本身是不是与结果相关？"

二、识别混杂变量

画出变量之间的因果关系。"是否存在一个变量，同时影响分组和结果？"

三、使用加权或标准化

如果必须给出汇总数字，可以用标准化（如按统一的人口构成加权）来消除构成差异。

四、谨慎解读相关而非因果的数据

辛普森悖论本质上是一个混杂问题——与前文提到的"相关性不等于因果性"密切相关。

现实中的例子

  • 医学研究的疗效比较（如上面的例子）；
  • 教育数据的族群比较（需要控制家庭背景、学校资源等）；
  • 业务指标（如"新版转化率更高"，但新版本可能被分配到了流量质量更差的渠道）；
  • A/B 测试（需要确保分流随机且均衡，否则可能出现辛普森悖论式的误导）。

一句话

在你相信一个"平均数"之前，先问：它是怎么分组的？各组的构成是否不同？

说明：本文为统计学的知识整理。