# 标签

Agent

共 178 篇文章

Code

02 对话记忆的真相

聊天机器人记得你三句话之前说过什么,这个体验太自然,以至于很多人没想过:服务器到底把对话存哪了?答案是没存。本文是「从零手写 Agent」系列第 2 篇,用官方 SDK 把多轮对话跑起来,看着一个 Python 列表如何…

24
Code

01 大模型 API 的真相

SDK 三行代码就能调起大模型,这层便利同时也挡住了视线:请求体里有什么、响应结构长什么样、错误时服务器说了什么,很多写过一阵子大模型应用的人也答不上来。本文是「从零手写 Agent」系列第 1 篇,丢开 SDK,用 h…

20
Code

00 从零手写 Agent 路线图

Agent 框架两年里冒了一茬又一茬:LangGraph、Claude Agent SDK、AutoGen……选型对比看多了,一个朴素的事实反而被盖住——Agent 的核心不依赖任何框架。一个模型 API、一份工具清单、…

27
AI

评测驱动开发(14):EDD 落地路线图

《评测驱动开发(EDD)》系列写到第 14 篇/post/1619,收官。前 13 篇沿着"要不要评 → 数据集 → 评估器 → 粒度 → 工具 → 门禁 → 线上 → 人工 → 红队"一路推进,每篇解决一个专门问题;但…

21
AI

评测驱动开发(13):对抗性评测

第 12 篇/post/1617把人工反馈接进闭环之后,EDD 的主线——用例集、断言、judge、CI、线上监控——就走完了。但整套体系默认一个前提:输入来自善意用户的真实需求。上线前必须回答另一个问题:有人处心积虑想…

24
AI

评测驱动开发(11):生产环境的持续评测

评测驱动开发(EDD)系列的评测矩阵至此覆盖了离线全流程:黄金集、断言、LLMasJudge、轨迹评估,最后由 CI(持续集成)门禁守在合并之前。但这套关卡全部发生在上线之前——门一开,流量涌进来,评测就下班了。生产环境…

24
AI

评测驱动开发(08):端到端 vs 组件级评估

评测驱动开发(EDD)系列第 7 篇/post/1612把"过程"拆开了:轨迹评估让工具调用序列本身成为评测对象。但无论评结果还是评轨迹,评测对象都是"一次完整运行"——检索、生成、工具选择全串在一起跑。这就留下一个粒度…

17
AI

评测驱动开发(06):偏差与校准

系列上一篇把 LLMasJudge 的架子搭了起来:定 rubric、组装 prompt、跑出分数,评测从人工肉眼升级成了自动打分。但一个更根本的问题没有回答——judge 自己可信吗?分数是模型生成的文本,不是卡尺量出…

33
AI

评测驱动开发(05):评分模式与 prompt 设计

评测驱动开发(EDD)系列第 4 篇/post/1609把能用代码判定的维度全部交给了断言:关键词命中、正则匹配、JSON 结构校验。断言便宜、可复现,但它只看得见"精确可知"的部分——客服回答有没有编造物流节点、摘要是…

29