Generated by Answer me with HTML 0.5.10 · 2026-11-21 18:43 · ★ Star on GitHub
語言模型改寫自己的權重
無梯度、無訓練,27B 模型自我改寫後在未見過的題目上進步 6.6 個百分點
Lead: 一個 27B 開放模型讀自己的權重,寫腳本改寫它們,只留下測試通過的版本。它在未見過的題目上進步 6.6 個百分點。訓練和推論之間那道牆,來自工具限制,而非智慧本質。
關鍵數字
- 模型
- 開放 27B 模型,同任務、同工具
- 測試
- 490 道未見過的題目,每題答 8 次
- 最佳編輯
- 57.2% 升至 63.8%,連續 8 輪只升不降
- 修復受損複本
- 0% 回到 33%,圖像任務轉移後達 70.2%
- 成本
- 每次改寫限 20 次前向傳遞,無梯度、無優化器
自我改寫迴圈
改寫效果
資料
| 基線 | 57.2% |
|---|---|
| 第 2 輪編輯後 | 61.3% |
| 第 8 輪編輯後 | 63.8% |
| 受損複本修復前 | 0% |
| 受損複本修復後 | 33% |
| 圖像任務修復前 | 7.3% |
| 圖像任務修復後 | 70.2% |
| 原版圖像準確率 | 84.3% |
能力隨規模湧現
| 模型 | 寫出可跑的改寫碼 | 讀自己的隱藏狀態 | 按測試結果行動 | 未見題目是否進步 |
|---|---|---|---|---|
| 2B | 視權重為不可改 | 原地踏步 | ||
| 4B | 加分編輯也硬留 | 越改越差 | ||
| 9B | 讀過一次 | 照交低分編輯 | 掉到 0% | |
| 27B | 讀過 5 次 | 爛編輯會撤回 | 57.2 升至 63.8 |
它到底修了什麼
拿掉過長思考鏈。基線模型同一句話重複 549 次,直到觸發 16384 token 上限,交白卷。改寫後用 5341 個 token 作答正確。它修好推理迴圈卡死的缺陷,並未長出全新數學能力。
網友怎麼吵
| 爭點 | 正方 | 反方 |
|---|---|---|
| 算不算新能力 | 無梯度自我優化,通往持續學習的入口 | 只是修一個腳本找得到的迴圈缺陷,換模型就失效 |
| 算不算訓練 | 無損失函數、無偏導數,定義上不是 | 有測試、有篩選、有迭代,就是學習 |
| 安不安全 | 基座對齊良好、護欄在就可控 | 可表面過測、暗改行為,也能抹掉安全維度 |
限制與提醒
讀完再信
單一模型家族、四種尺寸,沒有跨架構驗證。最佳數字來自 490 題的配對測試,不是通用基準。迴圈缺陷這類毛病一旦修掉,後續輪次的增益會收斂。自主改權重等於拿掉對齊檢查的可審計性,評估只看測試通過與否。
來源
- 論文
- Language Models Can Rewrite Their Own Weights (arXiv 2611.21885)
- 作者
- 范家駿 (Jiajun Fan) 等 11 人,2026-11-19 發布
- 討論
- HN 413 分、122 則留言,38 個頂層話題,2026-11-21 抓取
- 譯註
- 全文翻譯與留言整理見部落格內文