混合专家架构 MoE：为什么 9750 亿参数的模型只激活 410 亿
两组数字据 AI Time Journal 报道，2026 年有两款模型靠架构而非规模参与竞争：Mistral Small 4：1190 亿参数的混合模型，每个 …
标签：模型架构
共 2 片织锦
Transformer 架构：2017 年那篇论文改变了什么
它解决了什么问题在 Transformer 之前，处理序列数据（如文本）的主流模型是 RNN（循环神经网络）及其变体 LSTM、GRU。RNN 有一…