Generated by Answer me with HTML 0.5.10 · 2026-11-19 13:21 · ★ Star on GitHub
DaisyRose-27B 懶人包
核心一句
1200 個精選任務,把 Qwen3.8-27B 的 Terminal-Bench 4.1 從 5.6 分拉到 12 分。資料、後端、沙箱三者缺一不可。
成果一覽
| 基準 | 基座 | DaisyRose |
|---|---|---|
| Terminal-Bench 4.1 | 5.6 | 12.0 |
| Terminal-Bench 2.1 | 73.0 | 75.5 |
| DeepSWE v1.1 | 42.2 | 46.2 |
| SWE Bench Pro v2 | 91.3 | 94.7 |
| HLE 純文字 | 33.9 | 34.3 |
| IFBench | 79.5 | 82.4 |
| GPQA Diamond | 89.2 | 90.7 |
七項全漲。最大漲幅在長程任務。精度有三種。下載可上 Hugging Face。
三大關鍵
- 高品質訓練資料:1200 題,每題都是長工
- 高效率訓練後端:MFU 37 分,省 57 分成本
- 穩固沙箱服務:94 萬次,成功率 99.95 分
三者合力,才撐起 18 天訓練。
訓練資料三準則
- 針對錯誤出題:先跑基座找錯,再改寫
- 長工設計:單次 1.5 小時,百次工具呼叫
- 杜絕獎勵駭客:逐題審查,不行就刪
資料與 Eigent AI 合建。候選數千,只留 1200。
訓練後端數字
- 分工:128 卡推論,16 卡訓練
- 利用率:37 分,對開源 16 分
- 速度:每秒 16800 token,對 8300
- 總量:63000 GPU 小時,18 天持平
全非同步,誰也不等誰。混合專家差距更大。
沙箱服務數字
- 總量:約 94 萬個沙箱
- 尖峰:同時 1566 個
- 成功率:整體 99 分,後期 99.95 分
- 成本:比商用低 8 成
基於 AgentENV。記憶體伸縮是省錢關鍵。
網友爭點
- 刷榜疑慮:七項全漲,反問退步藏哪裡
- 自我提升:重度依賴評測資料,能否自進化
- 成本估算:散戶雲價約 33 萬美元
- 實用缺口:等 GGUF,問 RL 拓撲
作者親回:基準題未入訓練。拓撲用 RDMA。