新版本 0.6.2

目前 0.5.10。產生此頁時偵測到新版本。

這次更新:

在終端機執行:

npx skills update answer-me-with-html -y

或者告訴 Agent:

更新 answer-me-with-html
查看更新內容

Generated by Answer me with HTML 0.5.10 · 2026-11-21 21:11 · ★ Star on GitHub

Dettato:20M 參數的開源音訊轉 MIDI 模型

20M 參數開源模型轉錄奪冠。它超越 1.3B 的 MuScriptor,也小幅領先閉源的 Mirelo A2M v1.1 Pro。訓練全程沒有用過版權錄音。

A

模型對決:小個子贏了巨人

模型 參數 綜合 Onset Frame Offset Drums
Dettato 20M 60.8 70.8 79.1 40.9 52.5
Mirelo A2M v1.1 Pro 未公開 56.1 67.1 75.7 40.1 41.4
MuScriptor 1.3B 47.4 57.0 71.2 31.4 30.1
YourMT3+ 46M 45.7 58.2 63.9 30.5 30.0
B

分資料集:多數場地拿下第一

資料集 Dettato Mirelo MuScriptor
Bach10 91.3 未公布 54.7
Dagstuhl ChoirSet 60.8 未公布 35.5
PHENICX-Anechoic 64.8 60.9 54.4
RWC Classical 64.4 65.8 58.4
RWC Royalty-Free 61.6 56.2 46.8
Slakh2100 合成集 68.4 未公布 51.1
C

訓練資料:零版權錄音

  • 合成樂器錄音混合 CC 授權獨奏,以 URMP 資料集為基底混音
  • 約 30 個 soundfont,以作者發表的 soundfont babies 方法混合
  • CC 錄音做切分與拉伸,對齊目標 MIDI 音符
  • 作者主張:不用版權錄音不是限制,反而逼出更好的模型
D

作者洞見:瓶頸在架構,不在資料

  • 開發約 10 個月,4 月打掉重練,因為把問題想錯了
  • 音訊轉錄與光學樂譜辨識有相同教訓:早期演算法,後期硬塞巨型 LLM 部件
  • 巨型部件容易對合成資料過擬合,全域建模走錯方向
  • 解法是把問題改寫成區域性問題:OMR 用偵測器,AMT 用音高通道模型
E

作者自陳的侷限

  • 樂器分軌偏弱,相似音色會跳來跳去
  • 輸出是對拍演奏 MIDI,不是可直接演奏的樂譜
  • 需要樂譜的話,作者推薦 Songscription 或 Klangio
  • 人聲偏糊,流行樂副歌要再後製整理
F

社群實測:討論區的回報

  • 鋼琴獨奏幾乎全對,抄譜速度快很多
  • 高噪音搖滾曲目也能給出可用結果
  • 流行與搖滾自錄歌曲實測可用
  • 45 分鐘長檔可用 CPU 跑完,GPU 報錯待修
  • 呼聲最高:希望 DAW 直接內建,點名 Bitwig
G

授權與出處

  • 模型開源,輸出可用於商業用途
  • 原文發表於 2026 年 11 月 16 日,數據抓取於 2026 年 11 月 22 日
  • 評測基準採用 Mirelo 公布的測試集,平均值為 onset、frame、offset 三項平均