AI 產品要的不是分數：一套「驗證指標 + 校準 + 可重現」的研究流程

Beyond Accuracy: A Practical Workflow for Evaluation, Calibration, and Reproducible AI Researchㄏ

太多模型文章最後停在「準確率提升了」，但真正要上線的人在意的是：
這個提升能不能被重複拿到？在不同情境下會不會突然失準？如果模型很自信但其實錯很多，該怎麼補救？沒存檔…糟了……

做研究實驗的過程裡，最常回到同一個問題：把 AI 從“實驗結果”變成“可持續修正的系統”，中間缺的往往不是新模型，而是下面這套流程。

用一個通用框架：
要如何設計指標，如何做校準，如何做洩漏防呆，最後如何把整套變成可重現的資產。

先定義：目標指標要回答哪一個問題？

很多團隊的問題不是指標不夠，而是指標在回答不同問題。應需要先把輸出形式和研究問題對齊。

常見輸出至少有四類：

分類機率（例如 p(up)、p(class)）
排序/檢索（例如 top-k、ranking、MRR）
回歸（例如預測連續值）
決策型輸出（直接決定要不要做某個動作）

對應到你應該報告的“主指標”通常也不同：

分類看 Accuracy / F1 / AUC（但機率型輸出要搭配校準）
排序檢索看 NDCG / MRR / Recall@k
回歸看 MAE / RMSE
決策看你是否用指標把錯誤成本量化（例如回測、期望收益、風控後的有效率）

如果沒有把指標和輸出綁死，後面再怎麼調模型，也只是在做數字遊戲或是得到要命的虛擬假數據。

把“分數”拆成三層：準確、可信、可用

在看報告時不要只看一個分數，而是拆成三層，這會讓方法更像“可落地的方法”，也更容易被觀看者理解。

準確（Accuracy）

回答：方向對不對？排序是不是更靠前？

可信（Calibration）

回答：模型說自己多有把握是否真的對得上？

可用（Decision usefulness）

回答：如果你真的把它接進產品決策，錯誤會不會造成不可接受的成本？

很多模型在 A 指標好看，但在 B 或 C 失準，最後實際上線效果就會翻車。

校準是最容易被忽略、但最該寫進文章的部分

如果要輸出的是機率或置信度，那至少要回答：“模型的置信度到底有多準？”最常見的做法是用分箱（binning）：

把 p=0.70~0.80 的樣本拿出來
算這一桶實際命中率是多少
與 70~80% 的期望做對比

只要看到校準問題長什麼樣…怕的是看不到問題(救命)：
模型看起來很自信（高分箱），但真實命中率卻落後很多。這時候單純提高模型分數沒有意義，因為你需要的是“把信心校準到真實世界”。

可重現不是口號：要把可回推的“流程規格”寫出來

可重現的最低要求不是把 code 貼出來，而是提供了足夠的“流程規格”。在每個實驗都固定輸出一張“實驗卡片”（可以是文字塊或表格）：

資料來源與時間範圍
訓練/驗證/測試切分規則（是否時間序列切分）
預處理與標準化是否只用訓練資料統計
關鍵超參數與早停條件
你用來融合/集成/校準的訓練流程是否包含 out-of-fold 產物

只要這些可回推，後面做“持續修正”才真的有成本優勢與達到目標的機會。

洩漏防呆：不是在做難題，是在避免自欺欺人

實驗看起來提升很大，但其實是洩漏造成的假進步，這在“集成/疊代/融合”尤其常見。你可以用一個簡單的原則檢查：

任何用來訓練融合器/校準器的特徵，都不能讓它偷看到測試標籤或跨切統計
stacking/blending 的 meta-learner 只吃 out-of-fold 輸出
測試集的流程要和訓練流程隔離（不使用會含答案的統計量）

把這段寫清楚，會比很多“只報結果”的內容更像方法論。

進到產品就該做的誤差分析：分組切片比平均分更重要

最後一公里的問題是：你的系統在什麼情境下會失準？

建議固定用分組報告（slices），至少三個維度：

難度分組（easy/medium/hard）
資料型態分組（事件類型、長短、噪音）
分佈偏移分組（時間段或領域差異）

要的不是“全體平均提升”，而是回答：

融合/校準是否真的讓某些硬樣本變好？
改進是不是只發生在容易樣本上？
哪些情境失準會被 gating 或閾值修掉？

可以直接用的最小報告 Checklist（上站就能當資源）

如果想要把報告變成“可被收藏/轉載”的形式，我建議把最後一段做成 checklist：

主指標：與輸出形式一致（classification / ranking / regression / decision）
校準：分箱表 + 可靠度圖（或至少 ECE）
洩漏防呆：stacking/blending 用 out-of-fold，切分規則可回推
分組誤差分析：easy/hard + 分佈偏移維度
決策效用：如果上線會怎麼用，錯誤成本怎麼衡量

AI 產品的核心不是“更高分”而是“可信、可改”

能持續修正的系統，比單次漂亮的結果更值錢。

當把指標、校準、可重現、洩漏防呆、分組誤差分析形成流程，這個研究就會從“發表一次”變成“每次都能進步”。