02 对话记忆的真相
聊天机器人记得你三句话之前说过什么,这个体验太自然,以至于很多人没想过:服务器到底把对话存哪了?答案是没存。本文是「从零手写 Agent」系列第 2 篇,用官方 SDK 把多轮对话跑起来,看着一个 Python 列表如何…
# 标签
共 178 篇文章
聊天机器人记得你三句话之前说过什么,这个体验太自然,以至于很多人没想过:服务器到底把对话存哪了?答案是没存。本文是「从零手写 Agent」系列第 2 篇,用官方 SDK 把多轮对话跑起来,看着一个 Python 列表如何…
SDK 三行代码就能调起大模型,这层便利同时也挡住了视线:请求体里有什么、响应结构长什么样、错误时服务器说了什么,很多写过一阵子大模型应用的人也答不上来。本文是「从零手写 Agent」系列第 1 篇,丢开 SDK,用 h…
Agent 框架两年里冒了一茬又一茬:LangGraph、Claude Agent SDK、AutoGen……选型对比看多了,一个朴素的事实反而被盖住——Agent 的核心不依赖任何框架。一个模型 API、一份工具清单、…
《评测驱动开发(EDD)》系列写到第 14 篇/post/1619,收官。前 13 篇沿着"要不要评 → 数据集 → 评估器 → 粒度 → 工具 → 门禁 → 线上 → 人工 → 红队"一路推进,每篇解决一个专门问题;但…
第 12 篇/post/1617把人工反馈接进闭环之后,EDD 的主线——用例集、断言、judge、CI、线上监控——就走完了。但整套体系默认一个前提:输入来自善意用户的真实需求。上线前必须回答另一个问题:有人处心积虑想…
系列第 6 篇/post/1611讲 judge 校准时留了个尾巴:金标集从哪来?答案是人。这件事值得用一整篇展开——自动评测的每一层,judge、断言、回归门禁,合法性最终都锚定在人的判断上;而线上用户随手点的一个"踩…
评测驱动开发(EDD)系列的评测矩阵至此覆盖了离线全流程:黄金集、断言、LLMasJudge、轨迹评估,最后由 CI(持续集成)门禁守在合并之前。但这套关卡全部发生在上线之前——门一开,流量涌进来,评测就下班了。生产环境…
评测驱动开发(EDD)系列写到第 10 篇/post/1615,工具链已经凑齐:golden set(第 3 篇/post/1608)、断言(第 4 篇/post/1609)、judge(第 5、6 篇)、轨迹评测(第 …
评测驱动开发(EDD)系列前 8 篇把方法论讲完了:数据集怎么建、评估器怎么写、轨迹怎么比。但有个问题一直悬着:这些活儿到底用什么工具干?《AI Agent 开发》系列第 27 篇/post/1574用 LangSmit…
评测驱动开发(EDD)系列第 7 篇/post/1612把"过程"拆开了:轨迹评估让工具调用序列本身成为评测对象。但无论评结果还是评轨迹,评测对象都是"一次完整运行"——检索、生成、工具选择全串在一起跑。这就留下一个粒度…
评测驱动开发(EDD)系列写到第 7 篇/post/1612,断言式评估与 LLMasJudge 都讲过了,但评测对象始终是同一个:最终输出。这套打法对单轮应用够用,对 Agent 有一个结构性缺口——Agent 的答案…
系列上一篇把 LLMasJudge 的架子搭了起来:定 rubric、组装 prompt、跑出分数,评测从人工肉眼升级成了自动打分。但一个更根本的问题没有回答——judge 自己可信吗?分数是模型生成的文本,不是卡尺量出…
评测驱动开发(EDD)系列第 4 篇/post/1609把能用代码判定的维度全部交给了断言:关键词命中、正则匹配、JSON 结构校验。断言便宜、可复现,但它只看得见"精确可知"的部分——客服回答有没有编造物流节点、摘要是…
第 2 篇/post/1607用 5~10 条用例搭起 L1 冒烟集,判定靠肉眼比对;第 3 篇/post/1608把用例扩成 30 条 golden set 之后,肉眼先撑不住了——每改一次提示词就要重判 30 条输出…
评测驱动开发(EDD)系列第 2 篇/post/1607用 5~10 条 YAML 冒烟集把评测从"手工点测"拉到"脚本回归":改提示词前后各跑一遍,两分钟回答"变好还是变坏"。但冒烟集很快撞上天花板——它只能守住已知的…