先写 verify skill,再放手给 agent:Claude Code 团队的验收方法

13 次阅读 0 点赞 0 评论 15 分钟原创技术教程

Claude Code 团队在 2026-11-16 官方博客里写:能并行跑很多 agent,靠的不是更强的模型,而是用证据验收的闭环。据团队自报,约 90% 的代码由 Claude 编写并评审;内部在结构化文件生成任务上,独立评分器最多提高 10 个点。本文按 Addy Osmani 原文转述三类优先测试(端到端、属性、差分)、verify skill、失败三轮升级给人,以及检查不能改自己;我没有在自己的仓库里落地这套 skill,也不把那两个数字当成可复制的结果。

#verify skill #Claude Code #验收 #端到端测试 #属性测试 #差分测试 #REVIEW.md #Anthropic
先写 verify skill,再放手给 agent:Claude Code 团队的验收方法

先写 verify skill,再放手给 agent:Claude Code 团队的验收方法

昨天那篇讲的是:远程跑 agent 时,登录态不要进那台可以扔掉的机器。可即便密钥留在本机,还有一句更常见的话等着你——「做完了,测试也过了」。

Claude Code 团队在 2026-11-16 的官方博客 How the Claude Code team thinks about verification 里(作者 Addy Osmani)把这件事说得很直接:能并行跑很多 agent,靠的不是更强的模型,而是给 agent 一套用证据验收的闭环。据原文,团队里绝大多数代码(约 90%)由 Claude 编写并评审——这是团队自报,不是外部审计,也不是你放进一个 skill 就能复制的比例。没有验收环时,你大概只能同时盯一两个 Claude,因为每件事都得自己看;有了它,才谈得上并行几十甚至上百个。

本文按这篇官方博文转述他们建议优先投入的三类测试,以及团队自己怎么跑 verify skill、失败升级和检查门。我没有在自己的仓库里按原文落地这套 skill,也没有复现他们的内部评分实验,不提供「已经替你跑通」的截图。前面几篇从别的来源写过验收:785《让最贵的模型只写计划:从 shadcn/improve 抄一套「验证门 + STOP 条件」》 讲的是计划与停止条件;786《别信「测试已经写过了」》 讲的是单一参考会把合格率抬高;784 是形式化验证。这篇补的是 Claude Code 团队自己日常怎么验收。和 785 的差别在于:那篇的核心是「贵模型只写计划,验证门加 STOP」;这篇的核心是「提交前必须跑起来的 verify skill」,再加上检查不能改自己、失败三轮升级给人。和 786 的差别在于:那篇提醒单一参考会把合格率抬高;这篇谈的是验收环本身怎么设计,才不会训练 agent 去重跑不稳定测试。

一、验收环比「再换一个更强的模型」更关键

据原文,验证闭环是把更多工作交给 Claude 的基本构件。原因很具体:你一旦能让 agent 用证据证明「做完了」,就不必每一步都盯着它;反之,你只能把并行度压到自己看得过来的规模。

他们还写到一组内部测试:在结构化文件生成这类任务上,另设一个评分器按评分表检查 Claude 的产出,任务成功率比普通提示循环最多提高 10 个点,最难的题目上收益最大。这是团队内部结果,针对的是这类任务,不是「所有编程任务加 10 分」,不要外推成通用结论。

另一个常常被忽略的点是:测试、基准和规格一旦写成软件,就可以反复跑,而不必每次再花大量 token 让模型「再检查一遍」。验收的成本结构和写代码不一样。闭环还可以反向改进 agent:原文举的例子是,如果它反复通不过「检查日志里有没有用户数据」这类测试,就可以加一个 hook,或在 CLAUDE.md 里写得更明确,让同一类问题少再发生。

所以这篇博文真正要回答的,不是「要不要写测试」,而是:哪些测试值得投入,以及他们自己怎样避免测试把 agent 带歪。

二、三类值得投入的测试,以及两种会把 agent 带歪的测试

无论选哪一类,原文先划了两条失败模式。

测试如果不稳定(flaky),等于在训练 agent「再跑一遍」而不是改代码。测试如果太慢,它在一批改动里会少跑几次,定位问题也会变难。更重的测试,适合放在提交之前,而不是当成随手可点的快检查。

在此基础上,作者认为最值得投入的是下面三类。

1. 端到端:优先选这一种

如果只能抓一类,选端到端。这类测试描述的是真实用户路径,比如加购、结账、走到确认页。它难被「局部造假」糊弄:功能要么通,要么不通;完成标准清楚,坏了也能具体指出坏在哪。

单元测试更快、更少抖动,但可能全部通过,功能仍然是坏的——因为 agent 和测试都可能没有理解完整任务。原文配过一个对照:单元测试也许只报「30 秒超时」,端到端测试却能给出屏幕截图,并说明哪里断了。

有效做法是给 agent「手和眼」,让它在真实跑起来的系统上操作:用 skill 启动、驱动、检查应用,工具可以是 CDP、模拟器,或 API harness。功能地图(feature map)可以当成评分表,因为它通常从用户视角列出路径、快捷键、选择器和预期结果。

2. 属性测试:写一条你认为不会破的约束

很多测试写的是「你事先想到可能会错的地方」。属性测试盯的是人容易漏掉的边界,而 agent 也常常在这些地方失败。

做法是先写下一条你认为不该失败的命题,再用测试库生成成千上万组输入去证伪。原文提到的库包括:JS/TS 的 fast-check、Python 的 Hypothesis、Rust 的 proptest。几乎每个软件项目里都能找到这类性质,例如:

  • 往返编码:把 X 编码再解码,应当还是 X;解析和序列化也是同一类问题。
  • 不变量:必须始终成立的事实,比如账户余额不能变成负数。
  • 幂等:迁移、规范化、重试做两次,效果应当和做一次相同。
  • 等价:优化后的代码,结果应当和「慢但正确」的版本一致。

属性库的价值,是用和当初写代码的 agent 不一样的偏差去生成边界输入,从而把它「看不住」。在重写场景里尤其有用:规格已经和线上行为走散,不能再当成可靠的验收依据时,这些约束还在。

3. 差分测试:把旧系统当成预言机

大规模迁移、行为应当保持不变时,差分测试很有效。同一组输入分别送给旧系统和新系统,结果不一致,就说明有缺陷或破坏性变更。

关键是输入从哪来:随机生成,或抽样生产流量。还要归一化空白之类与行为无关的差异,并维护一份「允许不一致」的清单——新环境本来就该和旧环境不同的地方,不要每次都当成回归。

把三类放在一张表里,口径都来自原文,方便对照:

类型 它在查什么 更适合的场景 关键注意
端到端 真实用户路径是否走通 日常功能改动;如果只能先做一类,就选它 给 agent 手和眼,对着跑起来的系统测;完成标准要具体
属性测试 一条你认为不该破的约束是否总能成立 编码/解析、不变量、幂等、等价;规格已经和线上走散的重写 用独立库生成大量输入,避免和写代码的 agent 同一套偏差
差分测试 新旧系统对同一输入是否一致 大规模迁移、行为应当保持不变 输入用随机生成或生产流量抽样;无关差异要归一化,并保留「允许不一致」清单

这三类里,没有哪一类被原文写成「可以替代人」。它们解决的是:先让 agent 拿到难以自我开脱的证据,再决定要不要把人卷进来。

三、先在仓库里放一个名叫 verify 的 skill

团队把「验证」首先定义成:把改动跑起来,而不只是看测试列表。原文的类比是:你不会在没开过模拟器的情况下发布 iOS 改动,对 Claude 也应如此。

Claude 可以按人或 QA 的方式测完整应用。Web 改动可以用 Claude Chrome 扩展,移动端可以用 iOS 或 Android 的 MCP,桌面可以用 computer use,后端可以在本地把服务跑起来。

要把「怎么启动模拟器、怎么跑起应用」写成可重复的步骤,原文的做法是:在仓库里创建一个名叫 verify 的 skill,放进 .claude/skills/,尽量靠近相关代码,需要时可以放多个。据原文,Claude 在提交改动前会使用这个 verify skill。

然后把这个 skill 本身当成冒烟验收的 harness 来打磨:让它快,让它稳,让 Claude 迭代它、对它做压力测试。原文写,给了 Claude 端到端冒烟的能力之后,它会更快迭代、更快抓住真实错误;This is how we test nearly all changes at Anthropic——几乎所有改动都这样测。

我不会在这里编一份官方原文没有给出的 SKILL.md 范本。要点不是文件长什么样,而是:提交前有一条真实用户路径被跑起来,并且这条路径足够快、足够稳,不会训练它「再试一次」。

四、失败三次就交给人,检查不能改自己

没有人能读完每一次改动。他们用失败来决定哪些事必须有人看:Claude 先跑检查,失败了就修;如果一轮检查在三轮修复之后仍然失败,Claude 停下来,把人请来。

检查由代码主人自己写,并改到「能标出主人会标出的问题」为止。检查一旦要把评审人拉进来,应当直接说明原因,而不是让人从 diff 里自己猜。

他们还维护一份可靠性清单,共 39 项。每一项都有:可以从 diff 读出来的触发条件、对应的检查,以及背后的事故或 PR。原文举的例子是「--resume 能加载旧的 transcripts」。当会话存储或消息类型发生变化时,就要问:新字段能否安全加载,因为旧 transcripts 里不会有它。Claude 读 diff,只检查触发条件匹配的项——通常是 3 到 10 项,这样谁也不必把历史事故背下来。

评审本身,他们不靠「再叠一个更贵的评审人」来提高质量。给第一位评审人再叠第二位,往往不如把第一位调准。仓库里有一份 REVIEW.md,写明这块代码的评审人该盯什么。多轮评审应当接着前面的轮次和历史失败看,而不是每次从零重查一遍:更便宜,也更能找到问题。

还有一条硬约束:如果一次改动能够修改评判它自己的检查,这套检查就已经坏了。 据原文,Code Review 读的是基准分支或默认分支上的 REVIEW.md,而不是拉取请求里被改过的那份。卡关的规则必须放在这次改动改不到的分支上。

评审还被限制在提交上。如果评审进行时还在持续推送,评审结果就不再有用;一次针对过期提交的「通过」,什么也说明不了。

便宜的检查要先跑。如果 agent 还没在本地测就推上去,等于占用了共享的评审和 CI 时间,而这个缺陷本来它可以自己抓住。据原文,他们团队里的 Claude 在打开拉取请求之前会跑测试、构建和 linter。可以用 hook 在 Claude 结束时跑测试,也可以设一个「测试套件通过」的 /goal 来强制这一点。

五、新门先观察,再强制;漏掉的写成规则

在他们自己的仓库里,每次提交都会打上「这次是怎么被验证的」标记,其中包括 none,以便查出哪些提交根本没经验收。

他们还做了一道提交门:如果这次会话里没有 /code-review 或 /verify,就可以拦住提交。这道门有关闭、观察、强制三档:

模式 会不会拦住提交 用来做什么
关闭(off) 不拦 门尚未启用
观察(observe) 不拦,只记录「本来会被拦住」的提交 先看误报,避免一上线就挡到人
强制(enforce) 真的拦截 正式卡关;提交说明里可以解释这次为什么没做验证

任何提交都可以在说明里解释这次为什么没做验证。如果同一会话里已经被拦过两次,下一次会放行,以免 Claude 卡死——原文写明:Claude Code 不是完美的。

检查本身也要被检查。他们会看:已合并的改动有多少被回滚、维护者在合并前拒绝了多少、以及一组规模匹配、之后保持干净的改动。更正式的做法,写在他们此前的 代码评审文章 里:按历史事故和回滚重建当时的仓库状态,给一句标准答案说明那个缺陷是什么;只有正确描述了该缺陷的发现才计分。已合并且稳定的改动拿来做对照,避免系统过检。调参集和固定测试集分开。召回率会按「原始发现 / 验证之后 / 最终评审」分开统计,否则看不出系统是不是把已经找到的缺陷又弄丢了。

他们还关心严重程度,不只是「技术上是否正确」。Code Review 会把问题标成 Important、Nit 或 Pre-existing;「先前就存在」意味着不应把这次改动之前就有的缺陷算到作者头上。召回率会调到再往上加分就更像在过拟合评测、而不是真的多抓住缺陷为止。

漏掉的案例要变成规则,原文写了两条路。

第一条:从人工评审意见和 PR 回滚里抽模式。候选规则必须至少在两个 PR 里出现,并且能从 diff 识别出来;再让三个 agent 尝试证伪,最后由人在 PR 里评审并批准。

第二条:用三个缺陷查找器回放与已知事故相关的 PR。至少两个能找到,才算「可被检测」;如果在很小的 diff 上仍然漏掉,这个缺口值得写进 REVIEW.md。

不稳定的测试按同一标准处理。Claude 不能跳过它们,不能加 sleep,也不能重试到通过为止。如果找不到根因,就删掉这条测试,并写明原因。规则本身也要定期清理:测试套件、验收步骤和 markdown 文件只会不断变长,不收拾就会失去值得跑下去的理由。

收束到原文的结论:把验收层当成一套系统来维护——不让被检查的改动改到检查本身,按真正重要过的缺陷来打分,漏了就写成规则以免再漏,并定期修剪这些规则。你的工作就会从「读每一份 diff」变成「定义什么叫做完,并审查证据」。这也是他们敢同时跑很多个 Claude 的前提。

六、不落地官方仓库也能先做的 5 步对照

下面只是按原文整理的对照清单,不是我在自己仓库里跑通之后的操作记录,也不是「照做就能到约 90%」。

  1. 在 .claude/skills/ 里、靠近相关代码的位置放一个名叫 verify 的 skill。让它在提交前跑一条真实用户路径,而不是只问模型「做完了吗」。需要时可以放多个,分别对应不同子系统。
  2. 先把这一条路径打磨到快而且稳。再按场景补属性测试(往返、不变量、幂等、等价)或差分测试(旧系统当预言机)。不要用会偶尔失败的测试来「验收」——那是在教它重跑。
  3. 检查失败后允许再修,但不要无限修:三轮之后仍不过,就停下来自己看。人被拉进来时,检查应直接说明原因。
  4. 评判一次改动的规则,不要放在这次改动改得到的地方。REVIEW.md 从基准分支或默认分支读,而不是从当前 PR 里读。评审对着具体提交,过期提交上的「通过」作废。打开 PR 之前,先跑便宜的测试、构建和 linter。
  5. 给提交打上「如何验收」的标记,并保留 none。新的拦截门先用观察模式看误报,再进入强制;同一会话被拦两次后要有出口,免得 agent 卡死。反复漏掉、且能从 diff 识别的问题,再写成 hook、CLAUDE.md 或 REVIEW.md 里的规则,并定期删掉不再值得跑的条目。

这 5 步里,没有任何一步要求你先相信「约 90%」或「最多 +10 分」。那两句是团队自报和内部测试,用来解释他们为什么把验收环放在模型升级前面;复制的是方法,不是那两个数字。

小结

788《密钥不要进 agent 的机器》 管的是身份放在哪;这篇管的是「它说做完了」够不够。Claude Code 团队的方法并不神秘:先写一个提交前真的会跑起来的 verify skill,优先端到端,失败修三轮仍不过就交给人,检查不能改自己,漏掉的写成规则并定期修剪。

它也不是「从此可以放手不管」。观察模式、两次拦截后放行、以及「Claude Code 不是完美的」,都写在同一篇文章里。先按原文看完限制,再决定仓库里要不要引入这套 skill。

参考来源

最后更新:[ 2026, 11, 18, 7, 52, 1 ]

评论 (0)

发表评论

blog.comments.form.loading
0/500

暂无评论,快来发表第一条评论吧!