Generated by Answer me with HTML 0.5.2 · 2026-10-21 09:13 · ★ Star on GitHub
DeepInfer 懶人包
DeepSeek 開源推論框架：功能、缺件與 HN 爭點一次看懂
Lead: DeepInfer 是 DeepSeek 大規模線上服務用的高效能推論框架，這次開源給出離線推論核心。推論能賺錢是共識，整體是否賺錢不是共識。
結論
讀完這頁你會知道
DeepInfer 支援 DeepSeek-V4.1-Flash，強項是解碼加速與批次排程。缺 KV 快取等線上件，所以只是半套。HN 吵最兇的是每卡每小時 38 美元到底是營收還是利潤。
它是什麼
- 定位
- 大規模服務用的高效能推論框架
- 這次給什麼
- 離線推論核心功能
- 支援模型
- DeepSeek-V4.1-Flash
- 支援硬體
- NVIDIA SM100 GPU・昇騰 950 NPU
- 授權
- Apache-2.0
功能與開關
| 功能 | 說明 | 開關 |
|---|---|---|
| DSpark 信心度排程驗證 | 草稿 token 加速解碼，信心度安排驗證 | 開啟 |
| SWA 有界重播 | 只重播有限後綴，減少預填工作 | 預設開啟 |
| 非同步排程 | CPU 排程與裝置執行重疊 | 預設開啟 |
| 批次不變推論 | 不同批次組合結果一致 | 僅 NVIDIA |
| 確定性取樣 | 相同輸入產生相同輸出 | 僅 NVIDIA |
| 結構化輸出 | 限縮為正則、JSON Schema、EBNF | 通用 |
效能與缺件
| 項目 | 現況 |
|---|---|
| Prefill 測試 | 4 張 SM100，同網域量測 |
| Decode 測試 | 64 張 SM100，同網域量測 |
| KV 快取系統 | 本次未含 |
| 預填解碼分離 | 大多已實作，未全給 |
| 跨副本負載平衡 | 本次未含 |
HN 五大爭點
| 爭點 | 一句話 | 熱度 |
|---|---|---|
| 38 美元是營收還是利潤 | 推論有毛利，攤提訓練後未知 | 分歧 |
| 商品化壓垮前沿 | 前沿只剩小眾高利基 | 多數 |
| 為何開源 | 神風戰、算力約束、副業三種讀法 | 分歧 |
| 缺 KV 快取 | 理論有寫，程式碼沒給 | 多數 |
| DHS 禁令範圍 | 第三方託管是否中槍 | 分歧 |
怎麼選
實務建議
日常寫碼先試 Flash，又快又便宜。隱私資料走自託管或可信託管。重度代理再回頭用前沿模型。