要衡量什么

知道一组数据的平均值还不够——还需要知道数据有多分散。

例子:

  • A 组:10, 10, 10, 10 → 均值 10;
  • B 组:0, 20, 0, 20 → 均值 10;
  • C 组:-10, 30, 0, 20 → 均值 10。

三组均值相同,但离散程度差别很大。

方差

方差(Variance):各数据与均值之差的平方的平均值。

公式(总体方差):

σ² = Σ(xi - μ)² / N

为什么要平方:

  • 如果直接取差值,正负会相互抵消(如 -10 和 +10 的平均是 0);
  • 用绝对值也可以(那叫平均绝对偏差),但平方有更好的数学性质(可导,便于优化)。

问题:方差的单位是原单位的平方——如身高的方差单位是"平方厘米",不直观。

标准差

标准差(Standard Deviation):方差的平方根。

σ = √(σ²)

优点:单位恢复到原始单位——比如身高标准差是 8 厘米,直观可理解。

含义:数据点与均值的"典型距离"(大致如此)。

样本 vs 总体

总体方差:除以 N。

样本方差:除以 n - 1(贝塞尔校正)。

为什么:

用样本均值代替总体均值时,会系统性低估离散程度(因为样本均值本身就是按这批数据"拟合"出来的,数据到样本均值的距离,平均而言小于到真实均值的距离)。

除以 n-1 可以修正这个偏差,得到总体方差的无偏估计。

实践含义:大多数统计软件和库默认用 n-1(样本标准差)。

68–95–99.7 法则

对正态分布:

  • 约 68% 落在 ±1σ;
  • 约 95% 落在 ±2σ;
  • 约 99.7% 落在 ±3σ。

注意:这个法则只适用于正态分布(或近似正态的数据)。

对于任意分布,有一个更宽松的界限:

切比雪夫不等式:对任何分布,至少有 1 - 1/k² 的数据落在均值 ±kσ 内。

  • k=2:至少 75%;
  • k=3:至少 89%。

这个界限弱得多,但适用于所有分布——这正是不假设分布形态时所需要的保守估计。

其它离散程度指标

一、极差(Range):最大值 - 最小值。简单,但对异常值极敏感。

二、四分位距(IQR):第 75 百分位 - 第 25 百分位。

对异常值稳健——这是箱线图的基础。

三、平均绝对偏差(MAD):|xi - μ| 的平均。单位直观,但数学性质不如方差。

四、变异系数(CV):σ / μ。

用途:比较不同量纲或不同均值的数据集的离散程度。

例子:比较"大象体重的波动"和"老鼠体重的波动"——绝对标准差不可比,但变异系数可比。

实用提醒

一、标准差对异常值敏感

因为用了平方,一个极端值会显著拉大标准差。

如果数据有异常值,考虑用 IQR 或中位数绝对偏差(Median Absolute Deviation)等稳健指标。

二、标准差不是"错误范围"

标准差描述的是数据本身的离散程度,不是"均值的误差"。

均值的标准误(Standard Error) = σ / √n ——这才是"用样本均值估计总体均值的误差"。

混淆标准差和标准误是常见的错误,会导致对统计结果的误读。

三、在风险评估中,关注"尾部"而非标准差

标准差只概括了整体的离散程度。在风险管理中,真正重要的是极端情况下的损失——需要看分位数(如 VaR)和分布形态,而非仅看标准差。

说明:本文为统计学的知识整理。