Generated by Answer me with HTML 0.5.10 · 2026-11-21 21:11 · ★ Star on GitHub
Dettato:20M 參數的開源音訊轉 MIDI 模型
20M 參數開源模型轉錄奪冠。它超越 1.3B 的 MuScriptor,也小幅領先閉源的 Mirelo A2M v1.1 Pro。訓練全程沒有用過版權錄音。
模型對決:小個子贏了巨人
| 模型 | 參數 | 綜合 | Onset | Frame | Offset | Drums |
|---|---|---|---|---|---|---|
| Dettato | 20M | 60.8 | 70.8 | 79.1 | 40.9 | 52.5 |
| Mirelo A2M v1.1 Pro | 未公開 | 56.1 | 67.1 | 75.7 | 40.1 | 41.4 |
| MuScriptor | 1.3B | 47.4 | 57.0 | 71.2 | 31.4 | 30.1 |
| YourMT3+ | 46M | 45.7 | 58.2 | 63.9 | 30.5 | 30.0 |
分資料集:多數場地拿下第一
| 資料集 | Dettato | Mirelo | MuScriptor |
|---|---|---|---|
| Bach10 | 91.3 | 未公布 | 54.7 |
| Dagstuhl ChoirSet | 60.8 | 未公布 | 35.5 |
| PHENICX-Anechoic | 64.8 | 60.9 | 54.4 |
| RWC Classical | 64.4 | 65.8 | 58.4 |
| RWC Royalty-Free | 61.6 | 56.2 | 46.8 |
| Slakh2100 合成集 | 68.4 | 未公布 | 51.1 |
訓練資料:零版權錄音
- 合成樂器錄音混合 CC 授權獨奏,以 URMP 資料集為基底混音
- 約 30 個 soundfont,以作者發表的 soundfont babies 方法混合
- CC 錄音做切分與拉伸,對齊目標 MIDI 音符
- 作者主張:不用版權錄音不是限制,反而逼出更好的模型
作者洞見:瓶頸在架構,不在資料
- 開發約 10 個月,4 月打掉重練,因為把問題想錯了
- 音訊轉錄與光學樂譜辨識有相同教訓:早期演算法,後期硬塞巨型 LLM 部件
- 巨型部件容易對合成資料過擬合,全域建模走錯方向
- 解法是把問題改寫成區域性問題:OMR 用偵測器,AMT 用音高通道模型
作者自陳的侷限
- 樂器分軌偏弱,相似音色會跳來跳去
- 輸出是對拍演奏 MIDI,不是可直接演奏的樂譜
- 需要樂譜的話,作者推薦 Songscription 或 Klangio
- 人聲偏糊,流行樂副歌要再後製整理
社群實測:討論區的回報
- 鋼琴獨奏幾乎全對,抄譜速度快很多
- 高噪音搖滾曲目也能給出可用結果
- 流行與搖滾自錄歌曲實測可用
- 45 分鐘長檔可用 CPU 跑完,GPU 報錯待修
- 呼聲最高:希望 DAW 直接內建,點名 Bitwig
授權與出處
- 模型開源,輸出可用於商業用途
- 原文發表於 2026 年 11 月 16 日,數據抓取於 2026 年 11 月 22 日
- 評測基準採用 Mirelo 公布的測試集,平均值為 onset、frame、offset 三項平均