新版本 0.5.11

目前 0.5.10。產生此頁時偵測到新版本。

這次更新：

am export 把頁面匯出成 A4 PDF 或 PNG 切片，方便傳到聊天工具
表格後面寫 {table sort filter}，就能排序和篩選
am video --audio-map 用你自己的音訊檔做影片旁白

在終端機執行：

npx skills update answer-me-with-html -y

或者告訴 Agent：

更新 answer-me-with-html

查看更新內容

Generated by Answer me with HTML 0.5.10 · 2026-11-09 14:07 · ★ Star on GitHub

64GB 記憶體跑 284B 模型

llama-modchip 零 GPU 推論修補組

sourcesynchopate/llama-modchip v2.4.0

Lead: 64GB 記憶體、零 GPU，跑 284B DeepSeek-V4-Flash：預填 44.4 tok/s，解碼 9.1 到 14.7 tok/s。代價是壓到 1.71 位元，品質爭議正是 HN 180 則留言的主戰場。

A

一句話結論

能跑，不等於好用

56.56 GiB 檢查點塞進 64GB，預填加速 77%。HN 共識：低於 4 位元之後，每一步都在拿品質換大小，2 位元的品質帳至今沒人算清。

B

檢查點對照

檢查點	大小	位寬	解碼速度
DeepSeek-V4-Flash 284B	56.56 GiB	1.71	9.1 到 14.7 tok/s
Nemotron-30B Fractal-64	14.35 GiB	3.75	25 tok/s，推測解碼 60.4
Nemotron-30B MXFP4	15.95 GiB	4.25	26.1 tok/s

C

三大支柱

Fractal-64 轉碼：自訂 block-64 結構，冷專家串流不污染 L3 快取
CPU 核心修補：暫存器加四級快取多欄排程，預填從 25 拉到 44.36 tok/s
推測解碼加秒級還原：1.64MB 起草器，上下文還原約 13 到 33 毫秒

D

純 CPU 速度

資料

284B 預填	44.4tok/s
284B 解碼	9.5tok/s
30B 解碼	25tok/s
30B 推測解碼	60.4tok/s
Threadripper 30B	111.6tok/s

E

HN 爭議焦點

爭點	看多	看空
量化品質	大模型低量化勝過小模型高量化	低於 4 位元效能明顯衰退
實用速度	128GB 統一記憶體可接 coding 任務	43 個 token 翻譯花 116 秒
成本算法	800 美元硬體逼近一年前 SOTA	訂閱制無限用，拿 API 價算回本是錯類比
專案可信度	預填加速真實，方向有價值	數字對不上基線，文件機味太重

F

驗證方法

跑 ./modchip bench：30 秒印出可分享記分卡
跑 ./modchip eval：100 分品質加工具呼叫加長文尋針
對照 docs/ 深掘指南與 paper/ 預印本
HN 來源：story 50411961，402 分，180 則留言

---
template: sheet
lang: zh-Hant
title: 64GB 記憶體跑 284B 模型
subtitle: llama-modchip 零 GPU 推論修補組
source: synchopate/llama-modchip v2.4.0
---
Lead: 64GB 記憶體、零 GPU，跑 284B DeepSeek-V4-Flash：預填 44.4 tok/s，解碼 9.1 到 14.7 tok/s。代價是壓到 1.71 位元，品質爭議正是 HN 180 則留言的主戰場。

## 一句話結論
```callout ok 能跑，不等於好用
56.56 GiB 檢查點塞進 64GB，預填加速 77%。HN 共識：低於 4 位元之後，每一步都在拿品質換大小，2 位元的品質帳至今沒人算清。
```

## 檢查點對照
| 檢查點 | 大小 | 位寬 | 解碼速度 |
|---|---|---|---|
| DeepSeek-V4-Flash 284B | 56.56 GiB | 1.71 | 9.1 到 14.7 tok/s |
| Nemotron-30B Fractal-64 | 14.35 GiB | 3.75 | 25 tok/s，推測解碼 60.4 |
| Nemotron-30B MXFP4 | 15.95 GiB | 4.25 | 26.1 tok/s |

## 三大支柱
- **Fractal-64 轉碼**：自訂 block-64 結構，冷專家串流不污染 L3 快取
- **CPU 核心修補**：暫存器加四級快取多欄排程，預填從 25 拉到 44.36 tok/s
- **推測解碼加秒級還原**：1.64MB 起草器，上下文還原約 13 到 33 毫秒

## 純 CPU 速度
```chart bar unit=tok/s
284B 預填 | 44.4
*284B 解碼 | 9.5
30B 解碼 | 25.0
30B 推測解碼 | 60.4
Threadripper 30B | 111.6
```

## HN 爭議焦點
| 爭點 | 看多 | 看空 |
|---|---|---|
| 量化品質 | 大模型低量化勝過小模型高量化 | 低於 4 位元效能明顯衰退 |
| 實用速度 | 128GB 統一記憶體可接 coding 任務 | 43 個 token 翻譯花 116 秒 |
| 成本算法 | 800 美元硬體逼近一年前 SOTA | 訂閱制無限用，拿 API 價算回本是錯類比 |
| 專案可信度 | 預填加速真實，方向有價值 | 數字對不上基線，文件機味太重 |

## 驗證方法
- 跑 `./modchip bench`：30 秒印出可分享記分卡
- 跑 `./modchip eval`：100 分品質加工具呼叫加長文尋針
- 對照 `docs/` 深掘指南與 `paper/` 預印本
- HN 來源：story 50411961，402 分，180 則留言