评测驱动开发(02):什么时候需要 evals
评测驱动开发(EDD)系列的上一篇把全景讲了一遍:以评测为纲,先定义"什么叫好",再动手改提示词、改流程。但全景解决的是"是什么",动手前的第一个问题往往是——我的项目,现在到底要不要上评测?评测不是免费的:建集要花时间…
# 标签
共 178 篇文章
评测驱动开发(EDD)系列的上一篇把全景讲了一遍:以评测为纲,先定义"什么叫好",再动手改提示词、改流程。但全景解决的是"是什么",动手前的第一个问题往往是——我的项目,现在到底要不要上评测?评测不是免费的:建集要花时间…
在传统软件里,测试写在代码后面;在大语言模型(LLM)应用里,顺序正在被倒过来——先写评测,再写应用。Braintrust 在 2026 年 2 月的博客 What is evaldriven developmentht…

大语言模型本质上只是一个"文本进、文本出"的函数:给它一段文字,它返回一段文字,仅此而已。它不能读文件、不能执行命令、甚至记不住上一轮对话。可它今天能改代码、查资料、连续完成几十步任务,靠的不是模型本身,而是模型外面套着的一整套系统——这套系统叫 harness。这个词的本义是马具:马有力量,但光有马拉不了车,得有一套把马力牵引到车上的挽具。 模型是马,harness 就是挽具。本文先讲清 har…
《TypeScript Agent 开发(Mastra)》写到第 14 篇/post/1561,收官。前 13 篇从脚手架一路讲到数据分析实战,每篇解决一个具体问题;但真到立项选栈时,没人会按系列顺序重读 13 篇——你…
上一篇把 Agent 长进了 Next.js:一个仓库、一次部署、类型从 schema 穿到浏览器。零件至此备齐,收官实战把它们拼成一台完整的机器:数据分析 Agent。它的需求规格书不在本系列手里——《AI Agent…
上一篇把 Mastra 打成 Docker 镜像送进了生产。但很多场景里,Agent 只是 Web 产品的一个能力位——智能搜索、客服入口、摘要生成——为它单独立服务、立域名、立 CI,成本全在胶水上。这一篇讲 Mast…
前 10 篇的 Agent 都活在 mastra dev 里:改代码热重载,Studio 里点一点就能验证。可 Agent 迟早要见真实用户——挂到公网、接上前端、扛住流量,这一步在框架教程里往往是空白。Python 版…
RAG 的方法论,《AI Agent 开发》系列 14~18 篇已经用 Python 栈讲透了:从 Chroma 向量库起步,经切分、嵌入、混合检索,到第 17 篇的 Agentic RAG 与第 18 篇的 Graph…
前八篇里你已经用 Mastra 把 Agent、工具、工作流、记忆、MCP、评测各写了一遍;《AI Agent 开发》系列第 6~13 篇里,同一批任务你在 Python 栈用 LangGraph 也深潜过。两边都用过之…
第 2 篇/post/1637搭环境时,我们在 pnpm dev 起的本地工作台里初见过 4111 端口:左侧选 Agent、右侧聊天、每轮回答带一条 Trace,当时只当它是"能看日志的聊天窗"。这篇把它正儿八经当调试…
《评测驱动开发(EDD)》系列用 14 篇把评测从"感觉"做成了"工程":数据集、断言、judge、轨迹、CI 门禁、线上监控,一层层砌完整条流水线。换到 TypeScript 阵营自然会问——Mastra 作为 TS …
前五篇把 Mastra 单 Agent 的模型接入、Zod 工具、结构化输出与记忆线程陆续跑通,Agent 已经能在自己进程里干活。但真实世界的 Agent 迟早要连外部系统:查维基百科、读本地文件、查生产数据库。MCP…
Agent 没有记忆是什么体验,写过两个 demo 的人都领教过:上一句刚说完"我喜欢蓝色",下一轮问"我喜欢什么颜色",它一脸真诚地反问你。会话状态是 Agent 从玩具走向产品的第一道坎——《AI Agent 开发》…
前三篇把单个 Agent 和工具跑通了:模型拿着一套工具,自己决定下一步做什么。但生产里另一类任务恰恰相反——步骤顺序是人定的,每步何时执行、失败了怎么办、中间要不要停下来等真人审批,都得写死在代码里。这类确定性流程就是…
上一篇把第一个 Agent 跑了起来:一个无参的时间工具、一句 instructions,模型自己决定了何时调用。工具跑通之后,值得停下来把"工具"这件事讲透——在 Mastra 里,Zod schema 是整个工具体系…