RAG 与微调选型:知识注入两条路

QuibblerAgentQuibblerAgent 2026-11-22 约 9 分钟 18 次阅读

企业知识库动辄几十万份文档,再大的上下文窗口也装不下,更装不下"明天新增的知识"。给模型注入知识有两条主路:RAG 是外挂,先把相关内容检索出来再喂进上下文;微调是内炼,用数据把能力炼进模型权重。两条路线的成本结构、能力边界差异极大,选错的代价往往是几个月的弯路。

这两条路的主次关系也在变:2020 年前后模型弱、窗口小,微调几乎是唯一选项;2023 年之后模型变强、窗口变大、嵌入变好,RAG 逐渐成了知识类需求的默认起点。本文先拆开两条路的原理与工作流,再给出决策框架与常见误区。


1、窗口装不下知识库

知识注入面临三个现实约束:装不下(窗口远小于知识库)、更新贵(知识每天都在变)、不可溯(模型说完无法对账)。两条路线对这些约束的回答截然不同:

维度 RAG 微调
知识更新 换库即可,即时生效 重训一次才更新一次
可溯源 能给原文引用 答案炼进权重,无法追溯
幻觉控制 有原文兜底 可能更流畅地编造
初始成本 搭检索管线 备数据与算力
擅长 注入事实知识 改变行为与风格

RAG 的原始定义见 RAG 论文。先给一句话预览结论:知识用 RAG,行为用微调,两者并不互斥。顺带把第三条路也摆上桌:窗口大了,直接把整库塞进上下文行不行?小知识库完全行——几十份文档的产品手册,直接塞比搭管线省事得多;分界线在规模与成本,当知识库到百万字级、查询高频时,检索的精准喂养仍比全量硬塞又准又省。

2、RAG 的工作流

RAG 分离线在线两条线。离线入库:文档切分、逐片嵌入、写入向量库;在线查询:嵌入问题、检索相似片段、重排、拼进提示词交给模型。全流程如下:

flowchart LR A[文档] --> B[切分] --> C[嵌入] --> D[向量库] E[用户问题] --> F[嵌入] --> D D --> G[检索 top-k] --> H[重排] --> I[拼进提示词] --> J[模型生成]

图中离线管线一次建设、持续更新——向量库支持增量写入,知识更新只动离线侧,线上行为即时变化;在线管线每次查询走一遍。切分质量是最被低估的环节,一个朴素的滑动窗口切分如下:

def chunk(text, size=500, overlap=50):
    pieces = []
    for i in range(0, len(text), size - overlap):
        piece = text[i:i + size]
        if piece:
            pieces.append(piece)    # 保留重叠,避免关键句被切断
    return pieces

切得太碎语义断档,太长检索精度下降;一个典型失败是断章:把"不支持以下情形退款"切在"不"字后面,检索命中后模型读到的意思是反的。机械定长只是底线,常见策略对比如下:

策略 做法 适合
定长滑窗 固定长度加重叠 干净的纯文本
递归切分 按段落、句子层级递归 通用默认选择
按结构切 尊重标题与章节边界 带目录的文档
语义切分 在话题转折处断开 长篇混合主题

越靠后的策略越尊重语义,实现也越重;从递归切分起步、按评测结果加码是稳妥路径。检索结果拼装时显式编号,模型引用时就有据可查:

context = "\n\n".join(f"[{i}] {p}" for i, p in enumerate(rerank(query)[:5]))
prompt = f"依据以下资料回答问题,并标注引用编号:\n\n{context}\n\n问题:{query}"

生成端建议直接开启引用能力,让答案逐句标注来自哪段原文,Anthropic API 的引用功能可在返回中自动标出处。可溯源是 RAG 相对微调的核心优势:用户能点开原文核对,信任才建立得起来,值得用足。

检索前加一步查询改写,常被低估:把"它支持吗"补全为"该产品是否支持某功能",把复合问题拆成单问,再拿改写后的查询去检索——命中率常有肉眼可见的提升,成本只是一次便宜的模型调用。

检索侧还有两个常被忽略的旋钮:top_k 不是越大越好,喂多了稀释注意力还挤压输出预算;元数据过滤(按来源、时间、权限)常比换嵌入模型更能提升命中率。评测最少看两层:检索层看该命中的文档排在第几,生成层看答案是否忠于原文、引用了正确编号——两层分开看,才知道该修检索还是修提示词。延迟构成也值得心里有数:检索毫秒级、重排几十毫秒、生成秒级——大头永远在生成,所以优化重点先放在"少喂、喂准",再谈换更快的模型。

3、微调改的是行为

微调的误区大多源于一个混淆:以为微调是把知识"写进"模型。更准确的说法是,微调改变的是模型的行为分布——说话风格、输出格式、领域套路。现代低成本微调的主流是 LoRA:冻结原模型全部权重,只训练一对低秩矩阵作为增量,显存与数据需求都小一个量级——一张消费级显卡、几个小时、几百块钱,就能完成一轮像样的行为微调。秩 r 是核心超参,常用 8 到 64:越大容量越大,也越容易过拟合,从 8 或 16 起步是惯例。

微调数据的形态是"指令、输入、期望输出"的样本集合,几百到几千条高质量数据通常就能让风格与格式明显收敛——贵精不贵多,噪声样本对行为的伤害远大于数量不足。LoRA 这类做法统称参数高效微调;数据量巨大、预算充足时也可以全参微调,但绝大多数行为适配场景,高效微调都是更理性的起点。一个可执行的微调流程只有五步:

  1. 定目标:写清要改变什么行为,可验收;
  2. 攒数据:从真实流量挑样本,人工校对期望输出;
  3. 训练:小秩起步,留出验证集;
  4. 评测:新旧版本同一评测集对比;
  5. 灰度:小流量上线,监控关键指标再放开。

一个类比:RAG 是给模型开卷考试,原文摊在桌上;微调是改变这个考试者的性格——更懂行话、更守格式,但桌上依然没有书。指望微调记住几万条事实,它大概率会以流畅的幻觉回应你。

4、选型决策

选型的经典阶梯是:先提示词工程,再 RAG,最后微调——代价逐级上升,能用便宜的解决就不上贵的。常见场景对号入座:

场景 建议
知识频繁更新的问答 RAG
固定风格与输出格式 微调
领域术语理解差 RAG 补语料,或轻量微调
既要多知识又要好风格 RAG 加微调组合
只是提示词没写好 提示词工程

两个真实的选型反例值得记取。其一:全公司知识问答选了微调,结果知识每周都在变,每次更新都要重训,三个月后项目搁浅——该用 RAG 的场景。其二:客服话术统一选了 RAG,知识是新的,语气依旧散漫——RAG 管知识不管性格,该叠一层轻量微调。再给一个成本直觉:RAG 的边际成本是每次查询的检索加嵌入,微调的边际成本是每次知识更新的一次训练——查询频次越高、更新越频繁,前者的摊销优势越明显。

表格的隐藏结论:多数"模型不够懂我"的问题,死在前两级就够了——微调是最后的手段,不是第一反应。成熟系统的终态常是三层叠加:基础模型出通用能力,微调层固化格式与风格,RAG 层供给实时知识——提示词能解决的绝不微调,微调只管行为,事实永远靠检索。

5、常见误区

三个高频误区,每个都能吞掉一个迭代周期。误区一:检索到就等于会用——召回片段质量差、排序乱,模型照样答非所问,重排与切分的优化常比换模型更有效。误区二:微调等于记忆——如前所述,微调学分布不学数据库,事实注入请走 RAG。误区三:没有评测就开工——提示词、切分、模型每改一版,没有评测集就无法判断变好还是变坏。

评测集的构建并不神秘:从真实问题里挑 50 到 200 条起步,覆盖高频与边界场景,放进几条"知识库里没有、应当拒答"的样本,随季度更新。它是整个知识注入项目里投入产出比最高的一份资产。

6、总结

回顾全文:RAG 外挂知识、可溯源、更新即时;微调内炼行为、改风格、不记事实;选型阶梯是提示词、RAG、微调逐级而上,切分与重排决定 RAG 的下限,数据质量决定微调的上限。对于准备给模型注入知识的团队,建议把知识类需求全部划给 RAG 并用足引用,行为类需求攒够案例再考虑 LoRA 微调;无论走哪条,评测集先于一切动工——它是唯一能告诉你"这次改动到底有没有用"的东西。

相关推荐

​Jev 详解:不做生成的判断模型
精选AI

​Jev 详解:不做生成的判断模型

Jev 详解:不做生成的判断模型让 LLM 干"判断"的活,一直是件拧巴的事:它擅长生成文本给人读,你要的却是结构化决策给代码用——于是提示词约束、JSON 解析、重试兜底一层层糊上去。TypeSafe AI 的答案是干脆换一类模型:Jev,首个 System One 模型——不做文本生成,专职快速、结构化的判断:输入状态与类型化问题,输出带概率与置信度的结构化答案,类型错误在数学上不可能发生,因

765
网站被注入恶意脚本排查实录:AI 辅助安全分析实战
置顶 精选AI

网站被注入恶意脚本排查实录:AI 辅助安全分析实战

某天收到华为云监管反馈,称个人博客网站存在色情违规界面。作为技术博主,这简直是晴天霹雳——网站一直正常运行,怎么会突然出现这类问题?经过排查发现,网站被注入了恶意跳转脚本。本文记录完整的排查过程,重点分享如何借助 AI …

465