新版本 0.6.1

目前 0.5.10。產生此頁時偵測到新版本。

這次更新:

在終端機執行:

npx skills update answer-me-with-html -y

或者告訴 Agent:

更新 answer-me-with-html
查看更新內容

Generated by Answer me with HTML 0.5.10 · 2026-11-18 09:12 · ★ Star on GitHub

FrontierHarness 懶人包

A

Lead

換模型就要換 harness。27,280 次實測裡同一模型換 harness 成本差到 5 倍,貴的不等於會過。

B

規模

22 組態乘 5 模型乘 62 任務乘 4 次嘗試,共 27,280 run 與 830 億 token。是 v1.0 的 76 倍。

C

各模型最佳拍檔

GLM-5.3 配 Codex CLI,GLM Flash 配 Pi,DeepSeek 配 ZCode,Muse 配 Oh My Pi,Kimi-K3 配 Alma。

D

排名大洗牌

中位 harness 跨模型移動 11 名。Codex 從第 1 掉到第 16,DSH Creator 從第 1 掉到第 21。

E

花錢買不到分數

最高通過率者成本只排第 5 到第 20。四個模型裡最貴組合的通過率反低於最便宜組合。

F

成本看步數

起始 token、工具數與快取命中率幾乎無關,相關係數落在零附近。只有每通過步數顯著相關。

G

HN 爭點

64% 花在失敗 run 近乎同義反覆。harness 派與模型派對立,pass 與好用是兩回事。

H

結論

先選模型再選 harness。預設值直接套用,帳單會教你重排一次。