上下文窗口从 10 万到 100 万：长上下文的技术代价是什么

竞赛的一个维度

2026 年的模型发布中，上下文窗口成为重要竞争指标：Mistral Small 4 配 256,000 token，Thinking Machines Inkling 配 100 万 token，Kimi K3 具备 100 万词元上下文窗口。

为什么长上下文难

Transformer 的核心机制是自注意力：每个 token 都要与序列中所有其他 token 计算关联度。这带来两个随长度增长的问题：

计算复杂度：注意力计算量与序列长度的平方成正比。序列长度翻 10 倍，计算量翻 100 倍。

显存占用：推理时需要缓存每个 token 的 Key 和 Value 向量（KV Cache）。这个缓存的大小与序列长度成正比，长序列下会迅速吃掉显存。

主要的优化手段

位置编码改进：如 RoPE（旋转位置编码）及其各种外推变体，让模型能处理比训练时更长的序列而不至于完全失效。

稀疏注意力：不再让每个 token 关注所有 token，而是只关注局部窗口 + 少量全局 token，把复杂度从平方降为近似线性。

线性注意力与状态空间模型：用完全不同的机制替代注意力，把复杂度降到线性，代价是在某些需要精确长程检索的任务上表现下降。

KV Cache 优化：包括多查询注意力（MQA）、分组查询注意力（GQA），通过共享 K/V 头来压缩缓存；以及分页管理（PagedAttention）等技术，提升显存利用效率。

一个容易被忽略的问题：真的用得上吗

长上下文不等于长上下文理解。研究显示，许多模型在长序列中存在"中段遗忘"（lost in the middle）现象——对开头和结尾的内容记得较好，对中间部分容易忽略。

因此，评价一个长上下文模型，不能只看它能塞进多少 token，还要看它在长序列中能否准确检索和利用信息。这也是为什么有些产品会强调"可读、可查、可验证"——可验证性比窗口长度更关键。

说明：本文技术原理部分为公开知识，参数引自 AI Time Journal 与央视新闻。