把一个能读写代码、执行命令的编程 Agent 调转枪口,让它系统性地“攻击”你自己的代码库——这正是 Cloudflare 开源 security-audit-skill 想做的事。它不是一段“帮我审查代码安全性”的提示词,而是一套完整的多 Agent 编排方案:主 Agent 像项目经理一样调度一批相互隔离的子 Agent,分阶段完成侦察、狩猎、验证与报告,最终产出机器可读、经过独立复核的审计结论。
对工程师而言,它的价值不在“让 AI 看看有没有漏洞”这种泛泛而谈,而在于把安全审计拆成了可度量、可复跑的流水线。本文按“定位 → 安装 → 流水线 → 覆盖率 → 验证 → 隔离 → 生产数据”的顺序展开,最后给出落地建议。
1、技能定位与背景
GitHub 仓库目前收获超过 2.4 万 star,以 MIT 协议开源。它把自己定位为一个 coding-agent skill:装进任何支持工具调用与并行子 Agent 的编码工具后,一句“audit this codebase”就能把 Agent 切换成安全审计员。
它也是 Cloudflare 内部漏洞发现系统的单仓库种子。官方博客文章 Build your own vulnerability harness 介绍了他们如何从这个最初约 450 行的技能出发,扩展成横扫上百个仓库的漏洞发现装备;这项工作又是 Project Glasswing 安全审计实验的后续。
技能内置按攻击类目组织的狩猎指南,覆盖十类目标:
- 内存安全与二进制
- AI 与 LLM 应用
- Web 协议与认证
- 客户端代码
- 供应链
- 云服务
- RPC 与消息系统
- 资源耗尽
- 数据隔离
- 桌面、移动与 IPC
2、安装与触发
安装走 Skills CLI,一条命令完成:
npx skills add https://github.com/cloudflare/security-audit-skill \
--skill security-audit
这条命令会把名为 security-audit 的技能装进当前项目,加 --global 则装到用户级目录。前提有两个:宿主编码 Agent 需支持工具调用与并行子 Agent(适配工具可在 Skills CLI 文档查询),本机需有 Node.js——技能自带的两个校验器是零依赖的 Node 脚本。
装好后用自然语言触发,README 给出的示例如下:
security audit this codebasefind security vulnerabilities in ./srcdo a security review, output to ~/audits/my-project
技能区分两种模式:问安全问题时进 guidance 模式,只给方法论建议、不落盘;明确要求审计或渗透测试时才进 full audit 模式,跑完整流水线。审计产物默认写在目标仓库之外:
~/security-audit-skill/<repo-name>/run-1/
├── architecture.md
├── coverage-ledger.json
├── findings.json
├── REPORT.md
├── FINDINGS-DETAIL.md
└── NEEDS-VALIDATION.md
解读:架构文档、覆盖率账本、结构化结论构成三层数据,再派生出三份面向人阅读的报告。
3、六阶段审计流水线
full audit 模式按六个阶段推进:
- 侦察:测绘架构、信任边界与输入面
- 覆盖率引导狩猎:按账本派 hunter,critic 找盲区
- 候选验证:全新 verifier 逐条证伪
- 结构化输出:写入
findings.json并做 schema 校验 - 独立复核:新 Agent 复验最终记录
- 报告生成:派生三份目标中立报告
第 4 阶段的判定只有三种取值:confirmed、needs_validation、rejected,由 report-schema.json 保证格式合法。运行档位分 quick(一波狩猎加一轮 critic)、standard、deep(按子系统拆单元、独立验证器、二轮狩猎)三档,可按仓库体量选择。
预算门控同样写进了流程:critic 与验证储备必须先于 hunter 获得预算,预算不足时会输出 validation_budget_exhausted 这类状态明确披露,而不是硬跑出一份看似完整的报告。
4、覆盖率账本机制
覆盖率账本是整个方案的骨架。侦察阶段把代码库切成一个个可分配的审计单元,记入 coverage-ledger.json;狩猎 Agent 领单元干活,critic 专查缺口,账本格式由零依赖脚本 validate-coverage-ledger.cjs 保证合法。
账本的另一个关键设计是可累积:第二次审计会读取上次的账本,优先攻击未覆盖的缺口,并只对变更过的源码复验。Cloudflare 的实测结论很直接——单次运行只能发现多次运行合计漏洞的一半左右,持续循环还能把生命周期内的候选量再降约 65%。
这也解释了它为什么坚持“账本先行”:没有覆盖率记录,你永远无法区分“没发现问题”和“没看到问题”。
5、对抗式验证设计
发现者永远不验证自己的发现。
这条规则贯穿验证阶段:hunter 提出的候选一律交给全新的 verifier,其任务不是确认而是证伪。躲过证伪的候选还要再过一轮独立复核,报告必须晚于复核生成,正文与 JSON 不允许互相矛盾。
严重度评级同样克制:只有 confirmed 记录才有严重度,锚点从“未认证代码执行”的 critical 到 informational;needs_validation 永远不评级。评级要求真实影响,按可能性乘影响计算;纵深防御类缺口只作为加固建议记录,不算漏洞。
在 Cloudflare 的规模化版本里,交叉验证进一步升级为跨模型:验证系统跑在与狩猎系统不同的模型上,让两个模型互相挑错;自动修复 Agent 也被禁止合并代码,改动必须留给人审。
6、隔离与沙箱边界
每个 hunter 和 verifier 都有独立的工作目录:
run-1/agents/<agent-id>/
├── scratch/ # 子 Agent 唯一可写区
└── artifacts/ # 产物区,仅父 Agent 可晋升写入
子 Agent 只能写自己的 scratch/;产物要进入 artifacts/,必须由父 Agent 按一套防竞态流程晋升——fstat 检查、字节上限、禁止符号链接与 FIFO。共享文件、目标源码、其他 Agent 的目录一律禁写。
执行目标代码的红线更严:只在操作系统级沙箱里跑——无网络、环境变量白名单、目标只读、显式资源限制。条件不满足时不执行,候选停留在 needs_validation 并披露原因;测试一律用虚构的凭证与主体,禁止探测真实端点。官方还给了 Docker 环境提示:需 seccomp=unconfined 与 apparmor=unconfined,沙箱工具才能正常工作。
7、来自生产的数字
官方博客披露的规模化数据如下:
- 狩猎系统扫了 128 个仓库,验证系统积累 13,841 条 findings,覆盖 145 个仓库
- 20,799 条原始候选,约 12,057 条通过验证,高可信占比从 35% 提到 58%
- 初始验证拒绝率从 40% 降到 11%
- 去重折叠 5,442 条,最终沉淀 7,245 条可执行 findings
单仓库基准更能说明工程可用性:约 3 万行代码 3~4 小时产出约 100 条 findings,分诊后约 80 个独立 bug,关键 bug 约 5 天修复完毕。最长的一次全仓审计跑了 14 小时出头,背后是 50~200 规模的 worker 池。
一个有意思的工程细节:他们接入了 Semgrep,但 hunter 一个月里一次都没调用——观察 Agent 实际用什么,比预设它该用什么更有价值。需要说明,这些数字来自隔离的实验环境,并非线上生产系统的漏洞。
8、总结
security-audit-skill 的技术含金量不在单点聪明,而在编排纪律:覆盖率账本让审计可度量,对抗式验证让结论可信,子 Agent 隔离与系统级沙箱让“让 AI 执行不可信代码”有了安全边界。三者叠加,才把“AI 安全审计”从演示推进到工程。
对于想上手的团队,建议三步走:先在支持并行子 Agent 的编码工具里装上技能,对核心库跑一档 quick 摸底;再以增量方式重复运行,让账本把上次的缺口补齐;最后把 findings.json 接进工单系统,needs_validation 的条目留给人工复核。没有沙箱也不妨碍起步——结论会诚实地停在待验证状态,而不是悄悄变成误报。


