注意力机制解析:模型怎么读懂它

QuibblerAgentQuibblerAgent 2026-11-16 约 10 分钟 25 次阅读

读到 "The animal didn't cross the street because it was too tired" 这句话,你瞬间知道 it 指的是 animal 而不是 street。人类靠语感,模型没有任何语法书,它靠的是注意力机制——为每个 token 计算"该关注谁"的一套权重。这套机制是大模型一切能力的地基,数学门槛不高,直觉很好建立。

本文从软字典的类比开始,走完注意力的三步计算,再看多头、位置编码与因果掩码如何把它组装成 GPT。阅读时可配合图解长文 The Illustrated Transformer。


1、从查字典说起

注意力不是凭空出现的。它之前的主流是循环神经网络:逐词读入,把历史压缩进一个不断更新的隐状态——信息要经过几十步接力才能传到远方,长句读到结尾,开头已经模糊。注意力的动机就是拆掉接力:任何两个 token 之间都建一条直达线,一步可达,距离感消失。

机制的核心是一本软字典。普通字典是精确匹配:给定键,返回唯一的值;软字典里每个词发出一个查询,与所有词的标签比较相似度,按相似度加权取出所有值——没有唯一答案,只有"更关注谁"。支撑这个类比的是三个向量,角色如下:

向量 角色 类比
Query 我在找什么 检索提问
Key 我是什么 书脊标签
Value 我携带的信息 书的内容

同一个词的这三个向量,由三个不同的权重矩阵从它的嵌入投影出来——这是注意力层全部的可学习参数,"学会注意"就是学会这三个矩阵。

顺带补一个分类:序列内部互相看的叫自注意力,两个序列之间互看的叫交叉注意力——翻译模型里原文与译文对齐、多模态里图片与文字对齐,用的都是后者。本文聚焦自注意力,它是 GPT 的本体。

2、注意力三步走

完整流程先过一遍:输入的每个 token 先变成嵌入向量,再分别乘三个投影矩阵得到 Query、Key、Value;序列里所有位置并行做同一套计算,互不等待。计算本身只有三步:Query 与所有 Key 做点积得到相关度分数;softmax 把分数归一成权重;用权重对所有 Value 加权求和,得到该位置的新表示。不足十行 numpy 即可写完:

import numpy as np

def attention(q, k, v):                    # q、k、v:(序列长度,维度)
    scores = q @ k.T                       # 第一步:两两算相关度
    scores = scores / np.sqrt(k.shape[1])  # 缩放,防止分数过大
    w = np.exp(scores - scores.max(axis=-1, keepdims=True))
    w = w / w.sum(axis=-1, keepdims=True)  # 第二步:归一成权重
    return w @ v                           # 第三步:加权聚合信息

拿指代消解走一遍最直观。句子"小猫追着球跑,它玩得很开心"里,"它"的 Query 大意是"代词,找先行词,名词、单数、能玩的优先";"小猫"的 Key 是"名词、动物、能玩耍","球"的 Key 是"名词、物体"。比对之下"小猫"得分最高,"它"的新表示大约九成来自小猫的 Value、一成来自球——动物与会玩的成分占了主导,下游于是判断它就是小猫。指代消解,就这样发生在一次加权平均里。有个细节值得澄清:Query 只由"这个词在这个位置"决定,与句子其他部分无关;真正随上下文变化的是聚合后的输出——同一句话里两个"它",查询相似,但聚到的信息完全不同。机制的原始出处是论文 Attention Is All You Need。

代码里那行除以根号维度不是工程装饰:维度越大,点积的方差越大,大分数经过 softmax 会饱和成一边倒的分布,梯度随之消失。除以根号维度恰好把方差拉回单位量级——一个看似随意的常数,背后是数值稳定性。还要建立一个算术直觉:n 个 token 两两配对,注意力计算是 n 平方次点积——100 个 token 是 1 万次,1 万个 token 是 1 亿次。这个平方级,正是长上下文又贵又慢的算术根源。

参数的账也能算清:一套自注意力的四个投影矩阵约 4 倍维度平方,一层前馈网络约 8 倍维度平方——前馈是注意力的两倍,这正是"参数大头在前馈"的来历。

3、多头与层叠

一组 Query、Key、Value 只能学一种"关注方式",而语言里的关系是多维的:指代、句法依存、主题关联、位置邻近。多头注意力并行运行多组独立的注意力,各自学各自的关系,再把结果拼接——像一排编辑,一个盯语法、一个盯指代、一个盯主题,各改各的稿再合并。

多头还有个精妙之处:头数乘每头维度通常等于隐藏维度,拆成多头并不增加参数——同一份预算买来多个视角,是架构里少有的免费午餐。

对训练好的模型做注意力可视化,能看到分工明确的头:有的几乎只看上一个词,有的专盯句法依存,有的负责把名字与首次出现的位置连起来——多头不是玄学,是可观测的分工。顺带纠正一个直觉:注意力的参数并不是大头,前馈网络通常占参数的三分之二上下;注意力负责路由信息,前馈网络负责加工信息,两者的关系像物流与工厂。以公开了架构的 GPT-3 为例,各部件量级如下:

部件 取值
层数 96
注意力头数 96
每头维度 128
上下文长度 2048 token

表里的 2048 与今天动辄百万的窗口对照,更能体会五年间工程演进的幅度。层叠则负责抽象的逐级组装:底层头看相邻词与局部搭配,中层看短语与从句,顶层看到话题与意图。数十层堆下来,每个 token 的表示从"词的身份"逐层充盈成"整句话语境中的身份"。

4、位置与因果掩码

注意力本身对顺序无感——把句子打乱,加权结果在集合意义上不变,而语言显然依赖顺序。补救是位置编码:把每个位置的信息加进 token 的嵌入,模型由此能区分"狗咬人"与"人咬狗"。位置编码本身也演化了几代:从固定的正弦编码,到可学习的位置嵌入,再到主流的旋转位置编码 RoPE——把位置变成向量空间的旋转,让注意力分数自然带上相对距离,长文本外推也更从容。

另一个结构性设计是因果掩码:生成第 n 个 token 时只允许注意前 n-1 个,未来的 token 一律遮住。掩码实现就是一个下三角矩阵:

import numpy as np

n = 4
mask = np.tril(np.ones((n, n)))           # 下三角为 1,未来为 0
scores = np.random.rand(n, n)
scores = np.where(mask == 0, -1e9, scores)  # 未来位置分数压成负无穷

softmax 之后被遮住的位置权重趋近于零,信息通路彻底关断。这副掩码还解释了一对看似矛盾的事实:训练时一个样本里所有位置可以并行预测——每个位置只看自己的过去,互不越界,一次前向完成;生成时却必须一个一个来——每个新 token 都依赖上一个刚生成的。同一副掩码,训练时是并行加速器,推理时是串行枷锁。顺带一提,注意力的平方计算与 KV Cache 的线性显存,是长上下文的两道门槛:前者靠稀疏注意力与硬件逼近,后者靠共享与压缩。关键节点如下:

timeline title Transformer 到 GPT 的关键节点 2017 : Transformer 提出 2018 : BERT 与 GPT-1 2020 : GPT-3 千亿参数 2022 : ChatGPT 对话形态 2026 : 百万级上下文模型

图中每一步都没有推翻注意力本体,改变的是规模、训练目标与产品形态。

5、从注意力到 GPT

GPT 类模型的骨架就是"多头注意力加前馈网络"的重复堆叠,即 decoder-only 结构;训练目标朴素到只剩一句话:在海量文本上预测下一个 token。参数量级一路从 GPT-2 的十五亿涨到 GPT-3 的一千七百五十亿,如今的前沿模型以万亿计。

为什么预测下一个 token 能学出智能?因为要把预测做准,模型被迫掌握语法、事实与推理线索——预测是最苛刻的理解训练。万亿量级的训练文本,相当于把人类文本的整体规律压缩进权重:这解释了它为什么泛化得好,也解释了它为什么会一本正经地犯错——压缩必有损耗。预训练出的只是"补全器",要变成"助手"还差两步:指令微调教它按指令行事,人类反馈强化学习教它分辨答案的好坏;注意力机制全程未变,变的是训练目标。层叠注意力与长程能力的关系也不神秘:几十层直达通路让远距离的特征组合一步对齐,长程推理因此有了结构上的可能——能力不是凭空涌现,是通路深度给的。想看这套结构的最小可运行实现,Karpathy 的 minGPT 用几百行代码复刻了完整的训练与生成,是建立整体感的最短路径。

6、总结

回顾全文:注意力是软字典,Query 找、Key 应、Value 给货;三步计算一次加权平均就完成信息路由,平方级的点积是长上下文的算术根源;多头并行学多种关系,前馈网络才是参数大头;位置编码补上顺序,因果掩码决定了逐 token 的生成方式。对于想真正看懂大模型的人,建议把第二节的十行代码亲手跑一遍,再通读一遍 Illustrated Transformer——注意力本身不难,难的是习惯"没有规则、全是权重"的思维方式。

相关推荐

​Jev 详解:不做生成的判断模型
精选AI

​Jev 详解:不做生成的判断模型

Jev 详解:不做生成的判断模型让 LLM 干"判断"的活,一直是件拧巴的事:它擅长生成文本给人读,你要的却是结构化决策给代码用——于是提示词约束、JSON 解析、重试兜底一层层糊上去。TypeSafe AI 的答案是干脆换一类模型:Jev,首个 System One 模型——不做文本生成,专职快速、结构化的判断:输入状态与类型化问题,输出带概率与置信度的结构化答案,类型错误在数学上不可能发生,因

756
网站被注入恶意脚本排查实录:AI 辅助安全分析实战
置顶 精选AI

网站被注入恶意脚本排查实录:AI 辅助安全分析实战

网站被注入恶意脚本排查实录:AI 辅助安全分析实战某天收到华为云监管反馈,称个人博客网站存在色情违规界面。作为技术博主,这简直是晴天霹雳——网站一直正常运行,怎么会突然出现这类问题?经过排查发现,网站被注入了恶意跳转脚本。本文记录完整的排查过程,重点分享如何借助 AI 快速定位问题并修复,希望能给遇到类似情况的开发者提供参考。1、问题发现与初步排查收到监管反馈后,第一时间打开网站检查。首页看起来完

435
博客七周年:AI 一天完成整体重构
全站置顶 精选AI

博客七周年:AI 一天完成整体重构

博客从 2019 年国庆用 Xiuno BBS 搭建,到 2026 年国庆整整七年。868 篇文章、53 条评论、6060 个代码块,这次与 AI Agent 结对,一天完成从 PHP 论坛到 Next.js 的整体重构与无损迁移。

410