Generated by Answer me with HTML 0.5.10 · 2026-11-04 15:45 · ★ Star on GitHub

筆電 27B 模型看權重猜遊戲

Qwen 3.8 27B 重現權重空間程式設計

sourcesimonwillison.net 2026-11-03

Lead: 筆電上的 Qwen 3.8 27B 只看原始浮點權重,就反推出三款遊戲的政策網路,信心達七成二到八成八。

A

核心結論

筆電模型也讀得懂權重

前沿模型 GPT-6 Astra 的能力並非孤例。17GB 的 Qwen 3.8 27B 在筆電上重現其中三題,證明小模型也能從數字看出網路行為。

B

實驗設計

遊戲 網路 結果
打磚塊 10x10 格線政策網路 猜中
乒乓 10x10 格線政策網路 猜中
小精靈 8x8 迷宮政策網路 猜中
Freeway 10x10 格線政策網路 失手

提示詞四份完全相同,差別只在權重數字。模型全程無工具,不能跑程式碼。

C

推論流程

純文字浮點數無工具遊戲名加信心政策權重模型推理遊戲判斷
D

信心與用時

0%20%40%60%80%100%88%打磚塊75%乒乓72%小精靈
資料
打磚塊88%
乒乓75%
小精靈72%

打磚塊用時五十二分,乒乓一小時四分,小精靈四十六分。Freeway 較冷門,模型誤判為小精靈類遊戲。

E

推理過程像天書

智能體通道零在第八列第七行附近有較大值,位置或許靠近右下。

模型列舉數百行權重行號逐格推敲,人類閱讀極為吃力。作者認為,資深研究者備紙筆仍可走完同樣路徑。

F

社群怎麼看

立場 論點
本地派 27B 夠用,付給前沿模型的錢只買高階決策
實用派 能改幾個數字就別重訓,文字到權重可學習
懷疑派 只是在提示詞規則下做數學素描
工程派 只談變強,無人研究改動打壞什麼
G

限制

  • 推理 token 高達四萬,用時近一小時。
  • 冷門遊戲直接失手,泛化邊界明顯。
  • 周邊評論多有誇大,原始碼時代遠未結束。