它解决了什么问题

在 Transformer 之前，处理序列数据（如文本）的主流模型是 RNN（循环神经网络）及其变体 LSTM、GRU。

RNN 有一个根本缺陷：必须按顺序处理。要计算第 t 个位置的输出，必须先算完第 t-1 个位置。这带来两个问题：

  • 无法并行：训练时无法充分利用 GPU 的并行计算能力；
  • 长程依赖困难：信息要一步步传递，距离越远越容易丢失（梯度消失/爆炸）。

核心创新：自注意力

2017 年，Google 发表《Attention Is All You Need》，提出 Transformer 架构。它的核心是自注意力（Self-Attention）机制。

自注意力的思路是：序列中的每个位置，都可以直接与所有其他位置建立联系，无需顺序传递。

具体实现上，每个位置的输入会被映射出三个向量：

  • Query（查询）：我在寻找什么样的信息；
  • Key（键）：我能提供什么样的信息；
  • Value（值）：我实际携带的内容。

位置 i 的输出，是所有位置的 Value 的加权平均，权重由 Query_i 与各位置 Key 的匹配度（点积）决定，再经过 softmax 归一化。

为什么这很重要

并行化：所有位置的计算可以同时进行，训练效率大幅提升。这使得在海量数据上训练超大规模模型成为可能——这是大模型时代得以开启的工程前提。

长程依赖：任意两个位置之间的"距离"都是一步，不存在信息逐层衰减的问题。

关键补充组件

  • 多头注意力（Multi-Head Attention）：并行运行多组注意力，让模型同时关注不同子空间的特征（有的头关注语法，有的关注语义，有的关注指代）；
  • 位置编码（Positional Encoding）：由于自注意力本身不感知顺序，必须显式注入位置信息。原始论文用正弦函数，后来的模型多采用旋转位置编码（RoPE）等改进方案；
  • 前馈网络与残差连接：每个注意力层之后接一个全连接前馈网络，并用残差连接和层归一化稳定训练。

后续影响

此后几乎所有主流大模型——包括 GPT 系列、BERT、以及 2026 年各家发布的新模型——都建立在 Transformer 或其变体之上。

MoE（混合专家）架构，本质上是在 Transformer 的前馈网络层做的稀疏化改造。

说明：本文为深度学习架构的公开知识整理。