同一个问题问两遍,大模型的答案常常不同;把温度调到零就一定逐字复现吗;top_p 截掉的又是什么。这些问题的答案都藏在同一个瞬间:模型输出下一个 token 的那一刻。模型的全部本质,是给词表中每个候选 token 打一个分,而真正"说出口"的只有一个——怎么从一堆分数里选出这一个,就是采样。
本文先建立概率分布的直觉,再讲温度的数学与截断采样家族,然后解释随机性的真实来源,最后谈谈采样参数正在从闭源 API 消失的行业趋势。
1、概率分布与掷骰子
模型前向传播的最后一层,会为词表中每个 token 输出一个原始分数,称为 logits;经过 softmax 归一化后,得到覆盖全部候选 token 的概率分布。到这一步为止,计算完全确定——同一输入,同一分数。词表通常在十万量级,也就是说每一步都在给十万个候选打分:先有这张巨大的成绩单,才有"怎么挑"的问题。举个中文例子:输入"今天天气真",模型给出的成绩单大致是——"好"三成二,"不错"两成一,"冷"一成二,"热"百分之九,"糟"百分之六……剩下十几万个候选分摊余下的一成八,多数是亿分之一量级的边角料。
生成分两步走:先由模型打分,再从分布中抽一个 token 拼回输入,循环往复。所以一次生成等于确定的评分器加上随机的骰子,分工如下:
| 环节 | 做什么 | 是否随机 |
|---|---|---|
| 前向传播与 logits | 为词表每个 token 打分 | 否 |
| softmax | 分数归一成概率分布 | 否 |
| 采样 | 从分布中抽出一个 token | 是 |
理解了这个分工,"为什么同一个问题每次答案不同"就有了答案:骰子不同。可以想象把概率质量铺成一条长条:头部几个候选占掉大半,剩下的摊成薄薄一层。写代码时头部能占九成五以上,闲聊时头部也许只占一半——头部占比,本身就是任务确定性的度量。
一次生成的完整流水线如下:
图中首尾相接的一圈就是自回归生成的全部:打分、变形、截断、抽取,再回到打分。后文的温度与截断,分别作用在第二个和第四个环节。还要建立一个正确的预期:模型没有"想说什么"的既定答案,输出完全由这张分布与这颗骰子决定——分布是模型的全部意见,采样只是把它表达出来。
2、温度的数学与直觉
温度 T 作用在 softmax 的指数内部,公式为概率正比于 exp(分数除以 T)。换个视角更好记:温度等于给 logits 整体乘一个系数。降温是把分数差距拉大,升温是把差距抹平——这解释了为什么温度对"本来就咬得很紧"的候选影响最大:分数接近的地方,骰子才真有悬念。实现只有几行:
import numpy as np
def softmax_with_temperature(logits, t):
z = np.array(logits) / t # 温度作用在指数内部
e = np.exp(z - z.max()) # 减最大值,防止数值溢出
return e / e.sum()
拿一组示例分数,看不同温度下分布形状的变化:
logits = [4.0, 2.5, 2.0, 1.0, 0.5] # 五个候选 token 的原始分数
for t in [0.2, 1.0, 5.0]:
print(f"T={t}:", np.round(softmax_with_temperature(logits, t), 3))
# T=0.2: [0.866 0.076 0.046 0.006 0.004] 低温:近乎锁死最高分
# T=1.0: [0.542 0.122 0.074 0.027 0.017] 原始分布,不干预
# T=5.0: [0.321 0.180 0.146 0.088 0.067] 高温:明显拉平
温度 1.0 的含义由此清楚:不改变分布,按模型本来的置信度采样——这也是它成为多数任务默认值的原因。但低温还有一个经典副作用:重复循环。贪心解码容易陷入"我不知道。我不知道。"式的死循环——每一步都选最安全的词,而上一步刚出现过的词恰好变得更可能再被选中,越保守越重复。核采样论文把这称为神经文本退化的典型症状:每一步都局部最优,长序列上却系统性失败。常见任务的起步配置如下:
| 任务类型 | 建议配置 |
|---|---|
| 代码、抽取、分类 | 低温加 top_p,或直接贪心 |
| 日常对话 | 温度 0.5 到 0.7 |
| 创意写作、头脑风暴 | 温度 0.9 到 1.0 |
配置是起点不是定律,应以自己的评测结果为准。两个补充认知能避免踩坑:其一,温度不是"创造力"旋钮——创造力来自分布本身,温度只是放大或压平它;其二,不同厂商的温度数值不可直接比较,各自的 logits 分布形状不同,同样写 0.7,实际效果可能差很远。
温度的边界也值得走一趟。T 为零在公式里是除以零,工程上的实现是直接取最高分,即纯贪心,这是合法设置;T 趋向无穷则一切差距被摊平,极限是全词表等概率抽取——十几万个词连同垃圾词一起均分,输出接近乱敲键盘。所以高温有天花板效应:大约 2 以上基本就是噪声,各家 API 历来把可设上限压在 1 到 2 之间,不是随意拍的。负温度在数学上存在,效果是把整个分布反转——模型专挑最离谱的续写;统计力学里确有此概念,但对文本生成只是个猎奇按钮,没有场景用得上。
3、截断采样家族
语言模型的分布有一条又长又平的尾巴:大量低概率 token 单个看都无害,累计起来却不可忽视,一旦抽中就是前言不搭后语的"胡话区"。长尾的成因也值得知道:训练目标是最大化真实下一个词的概率,它并不惩罚"低概率但离谱"的候选——模型的尾部概率常常自信地错着。温度只能整体缩放,修不掉长尾,于是有了截断采样。主流策略对比如下:
| 策略 | 做法 | 优点 | 代价 |
|---|---|---|---|
| 贪心 | 永远取最高分 | 完全稳定 | 容易陷入重复循环 |
| top_k | 只保留分数前 k 个再归一 | 简单直接 | k 是拍脑袋的常数 |
| top_p | 保留累计概率达 p 的最小集合 | 随分布形状自适应 | 理解成本略高 |
top_k 常取 20 到 50,top_p 常取 0.9 到 0.95,都只是经验起点。top_p 又称核采样,出自论文 The Curious Case of Neural Text Degeneration:分布尖时它自动少留几个候选,分布平坦时自动多留几个,比固定 k 聪明。
两个补充策略常与截断搭配:重复惩罚给已出现过的 token 打折,直接缓解循环;最小概率 min_p 以当前最高分为锚过滤长尾,高温下比 top_p 更稳。它们在开源推理栈里几乎都是标配。另有一个少有人提的实现细节:温度与截断的先后顺序会影响结果——先升温再截断,与先截断再升温,保留下来的候选集并不相同,对照不同框架的行为时记得这一层。各策略的参数细节可对照 HuggingFace 生成策略文档。
组合建议很朴素:多数场景"温度 0.7 加 top_p 0.9"是稳妥默认;需要确定性输出时,优先靠低温与结构化输出,而不是把宝押在某一招上。贪心还有一个隐性代价:平庸。永远挑最安全的选项,长文容易写成四平八稳的陈词滥调——创意类任务宁要带棱角的多样性,也不要零风险的重复。
4、为什么答案每次不同
随机性的第一来源就是采样本身,这无需解释;真正常被忽略的是第二来源:
注意:把温度设为零也不保证逐字复现。GPU 并行归约的浮点求和顺序、批处理调度、底层内核选择,都可能让同一输入产生细微不同的 logits,乘上 softmax 的指数放大就变成了不同的词。
要复现需要推理栈支持固定种子与确定性模式,且不同平台之间没有可比性。真要跑可复现的对比实验,要点有三:固定随机种子并确认推理栈支持确定性模式;同一批次内对比,避免底层库与驱动版本漂移;完整记录模型版本与全部采样参数。三者缺一,复现就只是碰运气。
一个典型场景能说明问题:同一个工单跑两遍分类结果不同,通常不是 bug,是采样在动;把分类任务改成低温或结构化输出,才谈得上稳定。还有个量变细节:一次回复几百个 token 就是几百次连续掷骰,即使概率表每步完全相同,几百步连乘下来路径几乎必然分岔——长回复之间的差异,天然比短回复大得多。由此还有一个工程推论:线上评测不要依赖"多试几次总有一次对"——采样随机性会掩盖真实质量,评测应当固定条件或多次取均值,否则你测的是骰子不是模型。
随机性也不全是麻烦,产品设计早就在利用它:重新生成按钮的本质就是再掷一次骰子;给用户并列两三个候选,就是主动把分布的多样性变成选择权。理解采样,才能把"每次不一样"从缺陷设计成特性。
5、采样参数的消亡
一个值得注意的趋势:闭源 API 正在收走这颗骰子。采样控制的演进可以粗分为三段:
图中每一段的背景是:早期模型能力有限,工程师靠调骰子在稳定与多样之间找平衡;思维链模型出现后,模型内部的思考承担了探索的职责,外部随机的价值随之下降;到 2026 年,Claude API 自 10 月的新版本起,temperature、top_p、top_k 三个参数传入即报 400 错误,详见 API 版本迁移文档——采样策略由模型与推理栈内部决定,对外只保留控制思考深度的 effort 档位。
两套体系的控制面变化,对照如下:
| 控制项 | 开源推理栈 | 闭源新 API |
|---|---|---|
| 温度与 top_p | 完整暴露 | 已移除 |
| 重复惩罚 | 暴露 | 内部处理 |
| 思考投入 | 按栈实现 | effort 档位 |
表里的分野不是谁对谁错:开源栈要服务无数自定义场景,保留旋钮是义务;闭源 API 面向多数人,替用户调好是服务。对仍在开源栈或自建推理上工作的工程师,这些概念依然是必备知识。变化的是价值重心:采样参数退场后,闭源 API 上剩下的主旋钮是 effort——控制模型分配多少思考 token,低温对应的"求稳"与高温对应的"发散"被换成了"投入多少"这一个维度。调不动骰子之后,把提示词写得更确定、把任务拆得更小,比怀念温度参数更有用。
6、总结
回顾全文:生成分确定的打分与随机的采样两段,温度调分布的尖平、top_p 截掉长尾,随机性不止来自骰子还来自浮点与调度,而采样参数正从闭源 API 退出。对于日常使用,建议精确类任务用低温加 top_p、创意类任务温度接近 1,在闭源 API 上把调参精力转移到提示词与 effort;做评测时固定采样条件,别让骰子污染了分数。

