Generated by Answer me with HTML 0.5.10 · 2026-11-18 09:34 · ★ Star on GitHub
Agent 寫的碼,誰來驗
Claude Code 團隊驗證法+HN 205 則討論一次看懂
Lead: 團隊九成程式碼由 Claude 寫加審。要平行跑幾百個 agent,先給它們能驗自己工作的迴圈。
驗證迴圈為何值錢
另設評分者按 rubric 檢查,任務成功率高達 10 個百分點。測試生完跑起來就是軟體,不燒 token。在 CLAUDE.md 加規則,同一錯誤大致不再犯。
三種測試
- 端到端
- 真實使用者流程,難騙,壞在哪講得具體
- 屬性測試
- 掃人類漏掉的邊界,專治 rewrite 脫鉤
- 差異測試
- 新舊系統餵同輸入,舊系統當 oracle
單元測試全過,功能照樣能壞。重的測試在 commit 前跑。
團隊內部六招
- 改動跑起來:各 repo 建 verify skill,當 smoke harness
- 失敗才找人:三輪修不好停手
- code owner 寫檢查:調到會 flag 自己會 flag 的
- 39 條 reliability 清單:讀 diff 只查命中的 3 到 10 條
- 改動碰不到檢查:REVIEW.md 讀 base 分支那份
- 新 gate 先 observe:連擋兩次第三次放行
HN 吵什麼
- 成本:無限 token 才寫得出來的流程,確定性工具邊際成本近零
- 遞迴:magic box 驗 magic box,演算法勝過 agent
- 反例:測試綠燈功能錯,測試跟 bug 站一邊
- 全審:拆夠小就能全審,問題是做對題目了沒
- 實務:驗證 skill 改變信任度,代價是時間與錢
- 嘲諷:16k open issues,可靠度仍有人質疑
熱度最高的三串
- 成本開場 23 個回覆:無限 token 論,定調整串
- 月燒 2000 美元:個人怎麼平行幾百個,反串一片
- 可靠度提問:九個月前棄用派對上桌面版推薦派
結論:工作變成定義 done
不讀每個 diff,改定義 done 長什麼樣加審證據。miss 寫成規則,定期修剪。