Generated by Answer me with HTML 0.5.10 · 2026-11-04 15:45 · ★ Star on GitHub
筆電 27B 模型看權重猜遊戲
Qwen 3.8 27B 重現權重空間程式設計
Lead: 筆電上的 Qwen 3.8 27B 只看原始浮點權重,就反推出三款遊戲的政策網路,信心達七成二到八成八。
核心結論
筆電模型也讀得懂權重
前沿模型 GPT-6 Astra 的能力並非孤例。17GB 的 Qwen 3.8 27B 在筆電上重現其中三題,證明小模型也能從數字看出網路行為。
實驗設計
| 遊戲 | 網路 | 結果 |
|---|---|---|
| 打磚塊 | 10x10 格線政策網路 | 猜中 |
| 乒乓 | 10x10 格線政策網路 | 猜中 |
| 小精靈 | 8x8 迷宮政策網路 | 猜中 |
| Freeway | 10x10 格線政策網路 | 失手 |
提示詞四份完全相同,差別只在權重數字。模型全程無工具,不能跑程式碼。
推論流程
信心與用時
資料
| 打磚塊 | 88% |
|---|---|
| 乒乓 | 75% |
| 小精靈 | 72% |
打磚塊用時五十二分,乒乓一小時四分,小精靈四十六分。Freeway 較冷門,模型誤判為小精靈類遊戲。
推理過程像天書
智能體通道零在第八列第七行附近有較大值,位置或許靠近右下。
模型列舉數百行權重行號逐格推敲,人類閱讀極為吃力。作者認為,資深研究者備紙筆仍可走完同樣路徑。
社群怎麼看
| 立場 | 論點 |
|---|---|
| 本地派 | 27B 夠用,付給前沿模型的錢只買高階決策 |
| 實用派 | 能改幾個數字就別重訓,文字到權重可學習 |
| 懷疑派 | 只是在提示詞規則下做數學素描 |
| 工程派 | 只談變強,無人研究改動打壞什麼 |
限制
- 推理 token 高達四萬,用時近一小時。
- 冷門遊戲直接失手,泛化邊界明顯。
- 周邊評論多有誇大,原始碼時代遠未結束。