Generated by Answer me with HTML 0.5.10 · 2026-11-18 09:12 · ★ Star on GitHub
FrontierHarness 懶人包
Lead
換模型就要換 harness。27,280 次實測裡同一模型換 harness 成本差到 5 倍,貴的不等於會過。
規模
22 組態乘 5 模型乘 62 任務乘 4 次嘗試,共 27,280 run 與 830 億 token。是 v1.0 的 76 倍。
各模型最佳拍檔
GLM-5.3 配 Codex CLI,GLM Flash 配 Pi,DeepSeek 配 ZCode,Muse 配 Oh My Pi,Kimi-K3 配 Alma。
排名大洗牌
中位 harness 跨模型移動 11 名。Codex 從第 1 掉到第 16,DSH Creator 從第 1 掉到第 21。
花錢買不到分數
最高通過率者成本只排第 5 到第 20。四個模型裡最貴組合的通過率反低於最便宜組合。
成本看步數
起始 token、工具數與快取命中率幾乎無關,相關係數落在零附近。只有每通過步數顯著相關。
HN 爭點
64% 花在失敗 run 近乎同義反覆。harness 派與模型派對立,pass 與好用是兩回事。
結論
先選模型再選 harness。預設值直接套用,帳單會教你重排一次。