评测驱动开发（14）：EDD 落地路线图
《评测驱动开发（EDD）》系列写到第 14 篇/post/1619，收官。前 13 篇沿着"要不要评 → 数据集 → 评估器 → 粒度 → 工具 → 门禁 → 线上 → 人工 → 红队"一路推进，每篇解决一个专门问题；但…
16
分类
AI
追踪大模型的实战前沿：模型横评与选型（Fable、GPT、Gemini、DeepSeek）、AI Agent 架构（浏览器代理、Computer Use、多智能体协作）、判断模型（Jev、Laya）、本地化部署（AnythingLLM、WebLLM）与开源 AI 生态全景。从原理拆解到落地配方，给出可复制的选型与工程结论。
共 47 篇文章（已按标签筛选）
评测驱动开发（13）：对抗性评测
第 12 篇/post/1617把人工反馈接进闭环之后，EDD 的主线——用例集、断言、judge、CI、线上监控——就走完了。但整套体系默认一个前提：输入来自善意用户的真实需求。上线前必须回答另一个问题：有人处心积虑想…
22
评测驱动开发（12）：人工评测与用户反馈闭环
系列第 6 篇/post/1611讲 judge 校准时留了个尾巴：金标集从哪来？答案是人。这件事值得用一整篇展开——自动评测的每一层，judge、断言、回归门禁，合法性最终都锚定在人的判断上；而线上用户随手点的一个"踩…
24
评测驱动开发（11）：生产环境的持续评测
评测驱动开发（EDD）系列的评测矩阵至此覆盖了离线全流程：黄金集、断言、LLMasJudge、轨迹评估，最后由 CI（持续集成）门禁守在合并之前。但这套关卡全部发生在上线之前——门一开，流量涌进来，评测就下班了。生产环境…
18
评测驱动开发（10）：门禁与回归
评测驱动开发（EDD）系列写到第 10 篇/post/1615，工具链已经凑齐：golden set（第 3 篇/post/1608）、断言（第 4 篇/post/1609）、judge（第 5、6 篇）、轨迹评测（第 …
19
评测驱动开发（09）：LangSmith/Braintrust/DeepEval 选型
评测驱动开发（EDD）系列前 8 篇把方法论讲完了：数据集怎么建、评估器怎么写、轨迹怎么比。但有个问题一直悬着：这些活儿到底用什么工具干？《AI Agent 开发》系列第 27 篇/post/1574用 LangSmit…
17
评测驱动开发（08）：端到端 vs 组件级评估
评测驱动开发（EDD）系列第 7 篇/post/1612把"过程"拆开了：轨迹评估让工具调用序列本身成为评测对象。但无论评结果还是评轨迹，评测对象都是"一次完整运行"——检索、生成、工具选择全串在一起跑。这就留下一个粒度…
14
评测驱动开发（07）：Agent 特有的评测维度
评测驱动开发（EDD）系列写到第 7 篇/post/1612，断言式评估与 LLMasJudge 都讲过了，但评测对象始终是同一个：最终输出。这套打法对单轮应用够用，对 Agent 有一个结构性缺口——Agent 的答案…
17
评测驱动开发（06）：偏差与校准
系列上一篇把 LLMasJudge 的架子搭了起来：定 rubric、组装 prompt、跑出分数，评测从人工肉眼升级成了自动打分。但一个更根本的问题没有回答——judge 自己可信吗？分数是模型生成的文本，不是卡尺量出…
25
评测驱动开发（05）：评分模式与 prompt 设计
评测驱动开发（EDD）系列第 4 篇/post/1609把能用代码判定的维度全部交给了断言：关键词命中、正则匹配、JSON 结构校验。断言便宜、可复现，但它只看得见"精确可知"的部分——客服回答有没有编造物流节点、摘要是…
25
评测驱动开发（04）：精确匹配与包含判断
第 2 篇/post/1607用 5～10 条用例搭起 L1 冒烟集，判定靠肉眼比对；第 3 篇/post/1608把用例扩成 30 条 golden set 之后，肉眼先撑不住了——每改一次提示词就要重判 30 条输出…
14
评测驱动开发（03）：从真实流量到黄金集
评测驱动开发（EDD）系列第 2 篇/post/1607用 5～10 条 YAML 冒烟集把评测从"手工点测"拉到"脚本回归"：改提示词前后各跑一遍，两分钟回答"变好还是变坏"。但冒烟集很快撞上天花板——它只能守住已知的…
15
评测驱动开发（02）：什么时候需要 evals
评测驱动开发（EDD）系列的上一篇把全景讲了一遍：以评测为纲，先定义"什么叫好"，再动手改提示词、改流程。但全景解决的是"是什么"，动手前的第一个问题往往是——我的项目，现在到底要不要上评测？评测不是免费的：建集要花时间…
22
评测驱动开发（01）：从 TDD 到评测驱动
在传统软件里，测试写在代码后面；在大语言模型（LLM）应用里，顺序正在被倒过来——先写评测，再写应用。Braintrust 在 2026 年 2 月的博客 What is evaldriven developmentht…
30
多模态开发（12）：成本、延迟与场景决策
《多模态开发实战》走到第 12 篇/post/1661，收官。前 11 篇把图、文、视频、音频的输入与输出逐个拆开讲透：看得见的视觉、画得出的生成、听与说的语音，最后总装成多模态 Agent。零件都造完了，这篇不做新零件…
70