Generated by Answer me with HTML 0.5.10 · 2026-11-06 15:41 · ★ Star on GitHub
ERNIE 5.5 Flash Base 一頁看懂
百度把 280B 稀疏 MoE 的預訓練權重直接開源
Lead: 百度釋出 280B 總參數、每 token 啟動 14B 的 base 模型。權重停在前訓練結束,30 項評測拿下 24 項第一。它賣的不是對話能力,而是能被別人接著訓練。
六個數字定位
- 總參數
- 280B
- 每 token 啟動
- 14B
- 前訓練 token
- 33.5T
- 訓練脈絡
- 128K
- 推論脈絡上限
- 100 萬 token
- 骨幹
- 43 層、hidden 4096、64 個注意力頭
架構六個改動
| 元件 | 做法 | 換到什麼 |
|---|---|---|
| 注意力 | 每七層一層用 MLA 保留全脈絡,其餘六層改用 HCA | 把 128 個 token 壓成一筆快取,KV cache 大減 |
| 全脈絡層 | 加稀疏注意力 DSA,只算分數最高的 top-k | 單一 query 成本不隨脈絡成長 |
| MoE | 512 路由專家取 top-10,加 1 個共享專家 | 多個路由器共同打分,選錯較易修正 |
| 殘差 | mHC 以受約束矩陣讀寫四條殘差流 | 層間通道更寬,額外算力可忽略 |
| 輸出頭 | MultiMax 用可學習分段溫度 | 壓掉不合理長尾,保住多個合理候選 |
| 多 token 預測 | ECHO 複用骨幹最後一層 | 未來 token 的 loss 直接訓練骨幹 |
參數規模對照
資料
| 總參數 | 每 token 啟動 | |
|---|---|---|
| ERNIE 5.5 Flash | 280 | 14 |
| DeepSeek V4 Flash | 284 | 13 |
| Hy3 preview | 295 | 21 |
| MiMo V2.5 | 310 | 15 |
30 項評測的勝場數
資料
| ERNIE 5.5 Flash | 24 |
|---|---|
| DeepSeek V4 Flash | 4 |
| Hy3 preview | 2 |
| MiMo V2.5 | 0 |
輸掉的六項:ChineseSimpleQA、BBH CoT、INCLUDE-lite、FullStackBench、HELMET-Rerank、InfiniteBench。
E base model 能與不能
| 用途 | 判斷 |
|---|---|
| 續訓、領域適應、強化學習研究 | 就是為此釋出 |
| 直接對話與指令跟隨 | 完全沒做後訓練 |
| 當 coding agent 的底模 | 沒有指令微調 |
| 單張 80GB 顯卡跑滿百萬脈絡 | 4-bit 全長脈絡約需 175GB |
HN 上的六個爭點
| 爭點 | 熱度 | 一句話 |
|---|---|---|
| 授權條款 | 最大串 24 則 | 歐盟、英國、南韓整區被排除 |
| 命名 | 23 則 | 有人嫌 ERNIE 像 BERT 時代,底下歪成芝麻街接龍 |
| 對齊策略 | 18 則 | base 全開是對齊妙方還是文明級災難 |
| 評測對手 | 10 則 | 官方比的是 DeepSeek V4,不是 V4.1 |
| 硬體 | 3 則 | 4-bit 量化要 2×128GB 才跑得順 |
| 續訓實務 | 數則 | 多節點框架沒定論,別拿去寫程式 |
授權紅線
歐盟、英國、南韓被直接排除
- 這三個地區禁止使用,包含模型與衍生作品。
- 採用者要自行確保,這些地區沒有人用到自己的衍生模型。
- 多數留言讀成法遵免責條款,不是真的打算執行。
- 對照歐盟 AI 法第 53 條的技術文件與合規義務,開放權重只部分豁免。