现象
研究发现，某些能力在小模型上几乎不存在，但当模型规模超过某个阈值后，性能突然大幅提升。
比如多步算术推理、代码生成、按指令执行等任务，在小模型上表现接近随机，但在足够大的模型上表现显著改善。
这种现象被称为"涌现能力（Emergent Abilities）"。
一个质疑
2023 年有研究提出：涌现可能是评估方式造成的错觉。
论证：
- 很多任务用精确匹配（Exact Match）或"全对才得分"的指标评估；
- 一个多步推理任务，模型每步有一定成功率。小模型整体成功率趋近于 0（因为要所有步骤都对），大模型则明显提升；
- 但如果换成连续的、部分的评分指标（如逐步给分），性能曲线就变得平滑，不再有"突变"。
结论：某些"涌现"是指标的不连续性造成的，而非模型能力的真正跃迁。
这个争论的意义
它提醒我们：评估指标的选择会极大地影响我们对模型能力的判断。
用"全对才得分"的指标，会低估模型的部分能力；用过于宽松的指标，则会高估。
但也有真实的规模效应
即便去掉指标造成的假象，模型性能随规模增长仍有一些非线性的、难以从小模型外推的现象。
在实践中最重要的体现：某些能力在小模型上完全无法涌现，无论怎么训练。
这对工程决策有实际意义：有些任务（如复杂的多步推理、遵循复杂指令）确实需要一定规模的模型，用小模型替代可能行不通。
相关的可预测性问题
一个实际困扰是：我们无法可靠地从小模型的表现外推大模型的能力。
要评估一个大模型，往往必须先训练它——而训练成本极高。
应对：
- 缩放定律（Scaling Laws）：研究发现，模型性能与参数量、数据量、计算量之间存在幂律关系，可以在一定范围内外推；
- 但缩放定律也有边界，且不同的能力遵循不同的曲线。
一个务实的态度
不必纠结"涌现"是否真实存在。
对使用者来说，重要的是实证：在你的任务上、用你的数据，测试不同规模的模型，看实际表现。
理论上的争论可以留给研究者——工程决策应该基于实测。
一个更广泛的教训
这个争论也提醒我们警惕选择性叙事：
当我们看到"性能突然跃升"的曲线时，要先问一句——是不是评估方式造成的？是不是挑选了对特定叙事有利的展示方式？
说明：本文为大模型研究的知识整理。