Generated by Answer me with HTML 0.5.10 · 2026-11-03 09:36 · ★ Star on GitHub

權重空間程式設計：一頁看懂

GPT-6 Astra 直接讀寫神經網路權重，HN 602 則討論一次看完

sourceMIT CSAIL 2026-11-02，HN Story 50341174

Lead: 前沿模型不靠梯度下降，直接讀寫權重。讀：認出遊戲與語料。寫：手寫策略網路打敗 PPO。修：只動 0.016% 權重，數學翻六倍。

A

結論先行

核心訊息

權重空間程式設計 = 用自然語言直接讀寫權重，不經梯度下降。讀得準，寫得贏，修得省。但目前只能大改小，且多半是刪毛病而非加能力。

B

讀：只看數字就知道模型在想什麼

實驗	模型規模	任務	成績
一：認遊戲	17,253 權重	四款遊戲選一款	四戰全對
二：認形狀	23,824 權重	圓、方、三角選一	三台全對
三：認語料	716 萬權重	Python、日文、英文	全對且複製頭零誤報
七：抓諂媚	2.7 億權重	兩台中挑諂媚版	純看權重失敗，加注意力後全對

C

寫：從零手寫，打敗練一億步的 PPO

資料

	PPO一億步	PPO五億步	Astra手寫
打磚塊	15.8	25.3	517.4
Seaquest	5.6	88.9	53.1
Asterix	25.8	55.2	53.2

圍棋：149 萬權重網路，零次試跑就贏過半對局。五十次試跑後，打敗兩千萬盤訓練的 PPO。

D

修：小改大見效，只刪方向不加知識

資料

	原模型	改寫後
MATH-500	7.9	48.1
GSM8K	13.8	67.1
IFEval	21	62.3

修車：只動 3.5% 權重，成功率從 0 到 100%。修數學：只動 0.016% 權重，迴圈率從 93% 降到 33%。反例：不迴圈的 Gemma 改了等於沒改。

E

HN 六百則在吵什麼

焦點	正方	反方
是修迴圈還是變聰明	救回 579 題只壞 5 題	本來就會，只是卡住
像不像去審查術	單一方向刪行為，同構	所以不是讀懂權重
有沒有被提示餵答案	敢假設再逆推就是門檻	提示已暗示找迴圈
能力哪來	會思考就會泛化	為自我改進特訓過
能否改自己	大改小而已	同級與自改全未證

F

三個煞車

G

接下來五條路

免評測稽核：不跑推論，直接從權重抓後門。
省算力：一次寫成的初始化，取代完整訓練。
零資料 steering：問一句就加減能力，避開災難遺忘。
自我改進：除錯下一代權重，比寫訓練程式更原生。
跨架構移植：把推理迴路搬到不同架構，不需重訓。

---
title: 權重空間程式設計：一頁看懂
subtitle: GPT-6 Astra 直接讀寫神經網路權重，HN 602 則討論一次看完
lang: zh-Hant
source: MIT CSAIL 2026-11-02，HN Story 50341174
---

Lead: 前沿模型不靠梯度下降，直接讀寫權重。讀：認出遊戲與語料。寫：手寫策略網路打敗 PPO。修：只動 0.016% 權重，數學翻六倍。

## A 結論先行
```callout ok 核心訊息
權重空間程式設計 = 用自然語言直接讀寫權重，不經梯度下降。
讀得準，寫得贏，修得省。但目前只能大改小，且多半是刪毛病而非加能力。
```

## B 讀：只看數字就知道模型在想什麼
| 實驗 | 模型規模 | 任務 | 成績 |
|---|---|---|---|
| 一：認遊戲 | 17,253 權重 | 四款遊戲選一款 | ok 四戰全對 |
| 二：認形狀 | 23,824 權重 | 圓、方、三角選一 | ok 三台全對 |
| 三：認語料 | 716 萬權重 | Python、日文、英文 | ok 全對且複製頭零誤報 |
| 七：抓諂媚 | 2.7 億權重 | 兩台中挑諂媚版 | warn 純看權重失敗，加注意力後全對 |

## C 寫：從零手寫，打敗練一億步的 PPO
```chart bar
| PPO一億步 | PPO五億步 | Astra手寫
打磚塊 | 15.8 | 25.3 | 517.4
Seaquest | 5.6 | 88.9 | 53.1
Asterix | 25.8 | 55.2 | 53.2
```
圍棋：149 萬權重網路，零次試跑就贏過半對局。五十次試跑後，打敗兩千萬盤訓練的 PPO。

## D 修：小改大見效，只刪方向不加知識
```chart bar
| 原模型 | 改寫後
MATH-500 | 7.9 | 48.1
GSM8K | 13.8 | 67.1
IFEval | 21.0 | 62.3
```
修車：只動 3.5% 權重，成功率從 0 到 100%。修數學：只動 0.016% 權重，迴圈率從 93% 降到 33%。反例：不迴圈的 Gemma 改了等於沒改。

## E HN 六百則在吵什麼
| 焦點 | 正方 | 反方 |
|---|---|---|
| 是修迴圈還是變聰明 | 救回 579 題只壞 5 題 | 本來就會，只是卡住 |
| 像不像去審查術 | 單一方向刪行為，同構 | 所以不是讀懂權重 |
| 有沒有被提示餵答案 | 敢假設再逆推就是門檻 | 提示已暗示找迴圈 |
| 能力哪來 | 會思考就會泛化 | 為自我改進特訓過 |
| 能否改自己 | 大改小而已 | 同級與自改全未證 |

## F 三個煞車
```flow
大改小 -> 同級未證: 多兆參數改 8 億，不代表能改自己
提示餵答案 -> 五十次迭代: Qwen 修正靠下游評估調參
刪毛病 -> 加不了知識: Gemma 不迴圈就沒轍
```

## G 接下來五條路
- 免評測稽核：不跑推論，直接從權重抓後門。
- 省算力：一次寫成的初始化，取代完整訓練。
- 零資料 steering：問一句就加減能力，避開災難遺忘。
- 自我改進：除錯下一代權重，比寫訓練程式更原生。
- 跨架構移植：把推理迴路搬到不同架構，不需重訓。