两组数字

据 AI Time Journal 报道，2026 年有两款模型靠架构而非规模参与竞争：

  • Mistral Small 4：1190 亿参数的混合模型，每个 token 只激活 65 亿参数，配 256,000 token 上下文窗口；
  • Thinking Machines Inkling：多模态模型，总参数 9750 亿，但每个 token 只激活 410 亿，配 100 万 token 上下文窗口。

密集模型 vs 稀疏模型

传统大模型是密集（Dense）的：每处理一个 token，所有参数都要参与计算。参数量越大，单次推理的计算量就越大。

混合专家（Mixture-of-Experts，MoE）的做法是：把模型中的前馈网络层替换成若干个并列的"专家"子网络，再加一个路由（Router）来决定每个 token 该交给哪几个专家处理。

于是，模型的总知识容量（参数总量）与单次推理的计算量（激活参数量）被解耦了。

这样做的好处

打个比方：密集模型像一家只有一个全能员工的公司，什么事都要他做，他越能干，工资（算力）越高。MoE 像一家有上百位专家的公司，每个具体问题只找相关的几位专家，人虽然多，但每次只付几个人的钱。

分离知识与计算，正是当前推理成本压力下的关键设计。

难点在哪

MoE 并非免费的午餐，它带来几个新挑战：

  1. 负载均衡：如果路由总把任务分给某几个专家，其他专家就成了摆设，等于浪费了参数。通常需要引入负载均衡损失函数。
  2. 训练稳定性：路由是离散决策，不可微，需要用各种技巧让它可训练。
  3. 显存占用：虽然计算量降了，但所有专家的参数都要加载进显存，对内存的要求依然很高。
  4. 通信开销：分布式训练时，token 可能被路由到其他设备上的专家，带来跨设备数据传输。

为什么现在集中出现

推理成本已经成为大模型商业化的核心约束。当模型规模逼近物理和经济上限时，架构创新的价值就超过了单纯的规模扩张。

信息来源：AI Time Journal《The AI Model Launches That Defined 2026》；MoE 原理为公开技术知识。