新版本 0.6.2

目前 0.5.10。產生此頁時偵測到新版本。

這次更新:

在終端機執行:

npx skills update answer-me-with-html -y

或者告訴 Agent:

更新 answer-me-with-html
查看更新內容

Generated by Answer me with HTML 0.5.10 · 2026-11-21 18:43 · ★ Star on GitHub

語言模型改寫自己的權重

無梯度、無訓練,27B 模型自我改寫後在未見過的題目上進步 6.6 個百分點

Lead: 一個 27B 開放模型讀自己的權重,寫腳本改寫它們,只留下測試通過的版本。它在未見過的題目上進步 6.6 個百分點。訓練和推論之間那道牆,來自工具限制,而非智慧本質。

A

關鍵數字

模型
開放 27B 模型,同任務、同工具
測試
490 道未見過的題目,每題答 8 次
最佳編輯
57.2% 升至 63.8%,連續 8 輪只升不降
修復受損複本
0% 回到 33%,圖像任務轉移後達 70.2%
成本
每次改寫限 20 次前向傳遞,無梯度、無優化器
B

自我改寫迴圈

看評分後的作答,找失敗模式用 Python 直接改權重數值改寫版與原版同題同種子對答練習題上通過才留下下一輪從基線權重再來診斷讀權重寫腳本配對測試提交或撤回
C

改寫效果

0%20%40%60%80%100%57.2%基線61.3%第 2 輪編輯後63.8%第 8 輪編輯後0%受損複本修復前33%受損複本修復後7.3%圖像任務修復前70.2%圖像任務修復後84.3%原版圖像準確率
資料
基線57.2%
第 2 輪編輯後61.3%
第 8 輪編輯後63.8%
受損複本修復前0%
受損複本修復後33%
圖像任務修復前7.3%
圖像任務修復後70.2%
原版圖像準確率84.3%
D

能力隨規模湧現

模型 寫出可跑的改寫碼 讀自己的隱藏狀態 按測試結果行動 未見題目是否進步
2B 視權重為不可改 原地踏步
4B 加分編輯也硬留 越改越差
9B 讀過一次 照交低分編輯 掉到 0%
27B 讀過 5 次 爛編輯會撤回 57.2 升至 63.8
E

它到底修了什麼

拿掉過長思考鏈。基線模型同一句話重複 549 次,直到觸發 16384 token 上限,交白卷。改寫後用 5341 個 token 作答正確。它修好推理迴圈卡死的缺陷,並未長出全新數學能力。

F

網友怎麼吵

爭點 正方 反方
算不算新能力 無梯度自我優化,通往持續學習的入口 只是修一個腳本找得到的迴圈缺陷,換模型就失效
算不算訓練 無損失函數、無偏導數,定義上不是 有測試、有篩選、有迭代,就是學習
安不安全 基座對齊良好、護欄在就可控 可表面過測、暗改行為,也能抹掉安全維度
G

限制與提醒

讀完再信

單一模型家族、四種尺寸,沒有跨架構驗證。最佳數字來自 490 題的配對測試,不是通用基準。迴圈缺陷這類毛病一旦修掉,後續輪次的增益會收斂。自主改權重等於拿掉對齊檢查的可審計性,評估只看測試通過與否。

H

來源

論文
Language Models Can Rewrite Their Own Weights (arXiv 2611.21885)
作者
范家駿 (Jiajun Fan) 等 11 人,2026-11-19 發布
討論
HN 413 分、122 則留言,38 個頂層話題,2026-11-21 抓取
譯註
全文翻譯與留言整理見部落格內文