读到 "The animal didn't cross the street because it was too tired" 这句话,你瞬间知道 it 指的是 animal 而不是 street。人类靠语感,模型没有任何语法书,它靠的是注意力机制——为每个 token 计算"该关注谁"的一套权重。这套机制是大模型一切能力的地基,数学门槛不高,直觉很好建立。
本文从软字典的类比开始,走完注意力的三步计算,再看多头、位置编码与因果掩码如何把它组装成 GPT。阅读时可配合图解长文 The Illustrated Transformer。
1、从查字典说起
注意力不是凭空出现的。它之前的主流是循环神经网络:逐词读入,把历史压缩进一个不断更新的隐状态——信息要经过几十步接力才能传到远方,长句读到结尾,开头已经模糊。注意力的动机就是拆掉接力:任何两个 token 之间都建一条直达线,一步可达,距离感消失。
机制的核心是一本软字典。普通字典是精确匹配:给定键,返回唯一的值;软字典里每个词发出一个查询,与所有词的标签比较相似度,按相似度加权取出所有值——没有唯一答案,只有"更关注谁"。支撑这个类比的是三个向量,角色如下:
| 向量 | 角色 | 类比 |
|---|---|---|
| Query | 我在找什么 | 检索提问 |
| Key | 我是什么 | 书脊标签 |
| Value | 我携带的信息 | 书的内容 |
同一个词的这三个向量,由三个不同的权重矩阵从它的嵌入投影出来——这是注意力层全部的可学习参数,"学会注意"就是学会这三个矩阵。
顺带补一个分类:序列内部互相看的叫自注意力,两个序列之间互看的叫交叉注意力——翻译模型里原文与译文对齐、多模态里图片与文字对齐,用的都是后者。本文聚焦自注意力,它是 GPT 的本体。
2、注意力三步走
完整流程先过一遍:输入的每个 token 先变成嵌入向量,再分别乘三个投影矩阵得到 Query、Key、Value;序列里所有位置并行做同一套计算,互不等待。计算本身只有三步:Query 与所有 Key 做点积得到相关度分数;softmax 把分数归一成权重;用权重对所有 Value 加权求和,得到该位置的新表示。不足十行 numpy 即可写完:
import numpy as np
def attention(q, k, v): # q、k、v:(序列长度,维度)
scores = q @ k.T # 第一步:两两算相关度
scores = scores / np.sqrt(k.shape[1]) # 缩放,防止分数过大
w = np.exp(scores - scores.max(axis=-1, keepdims=True))
w = w / w.sum(axis=-1, keepdims=True) # 第二步:归一成权重
return w @ v # 第三步:加权聚合信息
拿指代消解走一遍最直观。句子"小猫追着球跑,它玩得很开心"里,"它"的 Query 大意是"代词,找先行词,名词、单数、能玩的优先";"小猫"的 Key 是"名词、动物、能玩耍","球"的 Key 是"名词、物体"。比对之下"小猫"得分最高,"它"的新表示大约九成来自小猫的 Value、一成来自球——动物与会玩的成分占了主导,下游于是判断它就是小猫。指代消解,就这样发生在一次加权平均里。有个细节值得澄清:Query 只由"这个词在这个位置"决定,与句子其他部分无关;真正随上下文变化的是聚合后的输出——同一句话里两个"它",查询相似,但聚到的信息完全不同。机制的原始出处是论文 Attention Is All You Need。
代码里那行除以根号维度不是工程装饰:维度越大,点积的方差越大,大分数经过 softmax 会饱和成一边倒的分布,梯度随之消失。除以根号维度恰好把方差拉回单位量级——一个看似随意的常数,背后是数值稳定性。还要建立一个算术直觉:n 个 token 两两配对,注意力计算是 n 平方次点积——100 个 token 是 1 万次,1 万个 token 是 1 亿次。这个平方级,正是长上下文又贵又慢的算术根源。
参数的账也能算清:一套自注意力的四个投影矩阵约 4 倍维度平方,一层前馈网络约 8 倍维度平方——前馈是注意力的两倍,这正是"参数大头在前馈"的来历。
3、多头与层叠
一组 Query、Key、Value 只能学一种"关注方式",而语言里的关系是多维的:指代、句法依存、主题关联、位置邻近。多头注意力并行运行多组独立的注意力,各自学各自的关系,再把结果拼接——像一排编辑,一个盯语法、一个盯指代、一个盯主题,各改各的稿再合并。
多头还有个精妙之处:头数乘每头维度通常等于隐藏维度,拆成多头并不增加参数——同一份预算买来多个视角,是架构里少有的免费午餐。
对训练好的模型做注意力可视化,能看到分工明确的头:有的几乎只看上一个词,有的专盯句法依存,有的负责把名字与首次出现的位置连起来——多头不是玄学,是可观测的分工。顺带纠正一个直觉:注意力的参数并不是大头,前馈网络通常占参数的三分之二上下;注意力负责路由信息,前馈网络负责加工信息,两者的关系像物流与工厂。以公开了架构的 GPT-3 为例,各部件量级如下:
| 部件 | 取值 |
|---|---|
| 层数 | 96 |
| 注意力头数 | 96 |
| 每头维度 | 128 |
| 上下文长度 | 2048 token |
表里的 2048 与今天动辄百万的窗口对照,更能体会五年间工程演进的幅度。层叠则负责抽象的逐级组装:底层头看相邻词与局部搭配,中层看短语与从句,顶层看到话题与意图。数十层堆下来,每个 token 的表示从"词的身份"逐层充盈成"整句话语境中的身份"。
4、位置与因果掩码
注意力本身对顺序无感——把句子打乱,加权结果在集合意义上不变,而语言显然依赖顺序。补救是位置编码:把每个位置的信息加进 token 的嵌入,模型由此能区分"狗咬人"与"人咬狗"。位置编码本身也演化了几代:从固定的正弦编码,到可学习的位置嵌入,再到主流的旋转位置编码 RoPE——把位置变成向量空间的旋转,让注意力分数自然带上相对距离,长文本外推也更从容。
另一个结构性设计是因果掩码:生成第 n 个 token 时只允许注意前 n-1 个,未来的 token 一律遮住。掩码实现就是一个下三角矩阵:
import numpy as np
n = 4
mask = np.tril(np.ones((n, n))) # 下三角为 1,未来为 0
scores = np.random.rand(n, n)
scores = np.where(mask == 0, -1e9, scores) # 未来位置分数压成负无穷
softmax 之后被遮住的位置权重趋近于零,信息通路彻底关断。这副掩码还解释了一对看似矛盾的事实:训练时一个样本里所有位置可以并行预测——每个位置只看自己的过去,互不越界,一次前向完成;生成时却必须一个一个来——每个新 token 都依赖上一个刚生成的。同一副掩码,训练时是并行加速器,推理时是串行枷锁。顺带一提,注意力的平方计算与 KV Cache 的线性显存,是长上下文的两道门槛:前者靠稀疏注意力与硬件逼近,后者靠共享与压缩。关键节点如下:
图中每一步都没有推翻注意力本体,改变的是规模、训练目标与产品形态。
5、从注意力到 GPT
GPT 类模型的骨架就是"多头注意力加前馈网络"的重复堆叠,即 decoder-only 结构;训练目标朴素到只剩一句话:在海量文本上预测下一个 token。参数量级一路从 GPT-2 的十五亿涨到 GPT-3 的一千七百五十亿,如今的前沿模型以万亿计。
为什么预测下一个 token 能学出智能?因为要把预测做准,模型被迫掌握语法、事实与推理线索——预测是最苛刻的理解训练。万亿量级的训练文本,相当于把人类文本的整体规律压缩进权重:这解释了它为什么泛化得好,也解释了它为什么会一本正经地犯错——压缩必有损耗。预训练出的只是"补全器",要变成"助手"还差两步:指令微调教它按指令行事,人类反馈强化学习教它分辨答案的好坏;注意力机制全程未变,变的是训练目标。层叠注意力与长程能力的关系也不神秘:几十层直达通路让远距离的特征组合一步对齐,长程推理因此有了结构上的可能——能力不是凭空涌现,是通路深度给的。想看这套结构的最小可运行实现,Karpathy 的 minGPT 用几百行代码复刻了完整的训练与生成,是建立整体感的最短路径。
6、总结
回顾全文:注意力是软字典,Query 找、Key 应、Value 给货;三步计算一次加权平均就完成信息路由,平方级的点积是长上下文的算术根源;多头并行学多种关系,前馈网络才是参数大头;位置编码补上顺序,因果掩码决定了逐 token 的生成方式。对于想真正看懂大模型的人,建议把第二节的十行代码亲手跑一遍,再通读一遍 Illustrated Transformer——注意力本身不难,难的是习惯"没有规则、全是权重"的思维方式。

