Generated by Answer me with HTML 0.5.10 · 2026-11-07 17:37 · ★ Star on GitHub

Jev 向 Opus 求助，用四分之一成本換到前沿準確度

Hightouch 在身分解析稽核任務上的實測，加 HN 106 則討論的反應

sourcehightouch.com 部落格／ HN 50397429

一句話結論

校準比聰明更重要

便宜模型不需要很強。它只要知道自己什麼時候不確定。Jev 把 22% 的案例轉給 Opus，就拿到 98.8% 準確度，成本是單獨用 Opus 的 23%。

測試方法：用 pseudopeople 模擬一座美國小鎮，產生 1,000 個身分。一半是一人加雜訊紀錄，一半是過度合併。原文作者來自 Hightouch，做客戶資料平台。

模型	準確度	每個身分耗時	每 1,000 個成本
Claude Opus 5.5	99.0%	2.2 秒	3.86 美元
Gemini 3.1 Pro	98.3%	4.2 秒	4.48 美元
GPT-6 Sol	98.3%	2.1 秒	2.50 美元
GPT-6 Luna（70% 門檻）	97.3%	0.17 秒	0.10 美元
Jev（60% 門檻）	95.7%	0.15 秒	0.05 美元

作者加了兩類陷阱。第一類是同一人的紀錄在生日或名字上互相矛盾。第二類是高度相似的過度合併：雙胞胎、父子同名、同名不同人。

資料

較難測試上，混合 Jev 的準確度追平單獨 Opus。成本只要 2.94 美元，單獨 Opus 要 5.39 美元。

Jev 犯錯時，信心多在 50% 附近。Luna 犯錯時，信心常不低於 90%。混合架構靠「信心落在我設的區間就轉給貴模型」運作，所以過度自信的模型會把該升級的案例留在自己手上。

資料

Luna 的升級率在難題上也會跳升。但它的高信心錯誤已經漏掉，補不回來。

Jev 先判，信心落在 30% 到 90% 之間的案例送 Opus。

送出比例	準確度	每個身分耗時	每 1,000 個成本
0%（Jev 單獨）	95.6%	0.15 秒	0.05 美元
7%	97.5%	0.30 秒	0.31 美元
17%	97.9%	0.52 秒	0.71 美元
22%	98.8%	0.63 秒	0.88 美元
40%	98.8%	1.02 秒	1.58 美元
100%（Opus 單獨）	99.0%	2.2 秒	3.86 美元

送出比例拉到 40%，準確度不再上升，成本卻幾乎加倍。甜蜜點在 22%。

106 則留言，本次全樹讀完。爭論集中在四件事。

主題	主要立場	代表帳號
校準的結論	有人用成本反推升級率，也有人說原文的圖不足以證明 Jev 校準更好，應該直接報 ECE	ezotony、pcwelder
架構定位	這就叫 Model Router。難點是笨模型不知道自己不知道	theptip、bastawhiz
外推範圍	這是單一任務的基準測試，不是通用能力提升。但有人照搬有效	nico、pkulak
用途倫理	這是把資料對應到真人，而且便宜四倍。有人直接形容為 AI 加持的隱私侵害	vouwfietsman、gnarlouse

還有一串在吵英文標題：「4x lower」數學上彆扭，該寫 0.25x。另一串在吵範例本身有錯：原文寫 Valentino 變成 Female Child，但 Valentino 是男名。

三個限制

第一，這些數字只對特定模型版本成立。第二，Haiku 等級的模型變便宜後，這層中介的節省會消失。第三，原文沒報升級率，得自己從成本反推。

能用就用。你先確認手上便宜模型的信心分布，再設轉送區間。不要假設便宜的模型過度自信，也不要假設貴的模型一定值得升級。先量測，再花錢。