AI 專案最大的 KPI,不是準確率

製造業AI KPI資訊圖表與AI視覺檢測工作站示意圖

很多 AI 專案提案,第一頁最常出現的數字,就是模型準確率(Accuracy)。

95%…
98%…
99%…

數字越高,簡報越好看。尤其在 AI 視覺檢測、瑕疵辨識、設備預測維護、需求預測等製造業 AI 專案中,準確率經常被當成模型好壞,甚至專案是否成功的主要標準。

但真正走進工廠現場後,通常很快就會發現:工廠不會因為模型準確率很高,就自然變得更有效率、更賺錢。

產線主管在意的是良率有沒有提升;製造單位在意直通率有沒有變高;現場人員在意週期時間(Cycle Time)有沒有被拖慢;財務部門在意成本有沒有下降、投資報酬率(ROI)到底何時回本。

準確率很重要,但它多半只是模型層級的指標。對工廠而言,真正重要的是:這個 AI 系統有沒有改善營運結果。

準確率高,不代表產線效率一定更好

想像一套 AI 視覺檢測系統,模型準確率達到 98%。

從技術角度看,這是一個相當不錯的成績。但對現場來說,接下來更重要的問題是:剩下的 2%,到底錯在哪裡?

如果系統把不良品判定成良品,這叫做漏檢。問題產品可能一路流到後段製程,造成更多材料、工時與設備資源浪費;如果最後流到客戶端,還可能變成客訴、退貨、召回,甚至造成品牌與商譽損失。

另一種錯誤是把良品判成不良品,也就是誤判或誤殺。

當 AI 系統過度嚴格,把大量正常產品攔下來,現場就必須安排人員複判。原本希望自動化能減少人力,最後卻變成更多等待、更多重工、更多堆料,甚至拉長整體交期。

因此,同樣是 98% 的準確率,對工廠帶來的價值可能完全不同。

一套系統若漏掉的是低風險外觀瑕疵,影響可能有限;另一套系統若漏掉的是關鍵尺寸偏差、密封失效或安全性缺陷,造成的成本與風險就完全不是同一個等級。

所以,製造業 AI 專案除了問…「模型準確率有多少?」;再詢問「模型錯的地方,是不是工廠可以承受的風險?」

比準確率更重要的,是漏檢率與誤判率

在 AI 視覺檢測專案裡,只看準確率很容易被平均數誤導。

尤其當良品比例很高、不良品比例很低時,就算模型大部分時間都判定良品,仍可能得到很高的準確率。但這不代表它真的抓得到重要缺陷。

例如,一萬件產品中有九千九百件良品,只有一百件不良品。即使模型幾乎都判成良品,也可能有極高的準確率;但如果它漏掉了多數不良品,這個系統在現場其實沒有太大意義。

因此,工業 AI 專案通常還要看:

  • 漏檢率:不良品被誤判為良品的比例。
  • 誤判率:良品被誤判為不良品的比例。
  • 精確率(Precision):被系統判定為異常的產品中,真正異常的比例。
  • 召回率(Recall):所有實際異常產品中,被系統成功抓出的比例。

不同工廠、不同產品,對這些指標的容忍程度也不同。

在車用、醫療、高階電子或安全性相關產業,漏檢的代價極高,系統通常需要偏向高召回率,寧可多攔一些可疑產品,也不能讓高風險瑕疵流出去。

但在高產量、低單價產品的產線上,如果誤判率太高,大量良品被送去人工複檢,產能與成本就會迅速惡化。

AI 專案的 KPI 不該只是一個漂亮的準確率,而是要把「錯誤的商業代價」一起算進去。

良率才是製造業 AI 的核心成果

良率(Yield)指的是生產完成的產品中,符合品質標準的比例。

這是多數工廠最關鍵的營運指標之一。因為良率直接影響可出貨產品數量、材料損耗、重工成本、產能利用率與營收表現。

AI 能為良率帶來價值,不只是幫忙找出瑕疵。

更重要的是,AI 能否協助工廠更早發現問題、找出問題來源,並避免相同問題持續發生。

例如,AI 視覺檢測可以即時發現外觀缺陷;製程 AI 可以從溫度、壓力、速度、材料批次與設備參數中,找出品質飄移的早期訊號;預測維護模型則能在設備完全故障前,先發現異常趨勢。

當問題被提早處理,工廠就有機會避免整批產品報廢。

這時候,模型的商業價值不是「準確率提升了 2%」,而是「良率提升了 1%」。對大量生產的工廠而言,良率每提高一個百分點,往往就是非常可觀的成本改善與產值提升。

直通率,決定 AI 是幫忙還是添亂

直通率(First Pass Yield,FPY),指的是產品第一次通過製程或檢驗、不需要返工、不需要重測,就能順利進到下一站的比例。

直通率比單一檢測結果更接近現場價值。

因為工廠最怕的,不只是產品不良,而是產品在流程中反覆被攔下、重測、等待、重工,最後卡住整條產線。

有些 AI 檢測系統為了追求更高的準確率,把判定門檻設得過度保守。只要影像稍微模糊、角度略有差異、材料顏色有正常波動,就一律判成異常。

結果是模型看起來「很嚴格」,但大量良品被送往人工複判區。

現場人員的工作量不減反增,產品等待時間拉長,在製品堆積,直通率下降。最後得到的是一套技術指標很漂亮、現場體驗卻很糟的 AI 系統。

成熟的工業 AI,不是把所有不確定案例都丟給人。

而是透過分級處理,讓高風險異常立即攔截、低風險案例快速放行、介於中間的模糊案例再交給人工判斷。這樣才能在品質風險與產線流動之間取得平衡。

週期時間,才是效率是否真正落地

週期時間(Cycle Time)是指產品完成一個製程、一個檢測站,或一段完整作業流程所需的時間。

很多 AI 專案只強調模型推論速度,例如「單張影像只需 0.2 秒完成判斷」。但模型推論速度,不等於整體週期時間。

實際現場還會受到影像擷取、資料傳輸、系統通訊、設備控制、結果寫入、異常通知與人工處置影響。

模型本身很快,但如果影像傳到伺服器需要兩秒、結果回傳設備又需要一秒、異常發生後還得等待人工確認,整體流程可能比原本更慢。

AI 導入不能只看模型是否跑得快,而是要看整個流程有沒有變快。

AI 是否減少人工輸入?是否縮短異常確認時間?是否避免人員在不同系統間切換?是否能把檢測結果自動寫回 MES、ERP 或品質管理系統?是否能減少等待、往返與重複操作?

這些問題,才是週期時間能否改善的關鍵。

AI 最終不是多增加一個判斷步驟,而是應該幫助工廠減少不必要的流程摩擦。

成本與 ROI,決定 AI 專案能不能活下去

AI 專案常見的誤區,是只計算導入成本,卻忽略長期營運成本,前期 PoC 驗證時,用少量資料、固定環境、單一產品型號,模型往往能跑出很好看的結果。但正式導入產線後,真正的成本才會慢慢浮現。

相機、鏡頭、光源與邊緣運算設備需要維護;產品換型、材料換批、現場光線變化後,模型可能需要重新校正;新瑕疵出現後,需要回收資料、人工標註與重新訓練;現場人員也需要知道如何處理 AI 的異常判定。

這些都不是附加成本,而是 AI 系統的一部分。因此,AI 專案應該從 ROI,也就是投資報酬率來看。

除了減少人工檢驗工時,也要計算報廢下降、重工減少、客訴風險降低、設備停機縮短、產能提升與交期穩定等效益。

一個模型準確率達到 99%,但維護成本極高、需要大量人力複判、無法快速因應產線變化,未必是好專案。

反過來說,一個準確率沒有追到極限、但能穩定改善良率、縮短週期時間、降低品質成本,並在合理時間內回本的系統,反而更有機會被工廠長期採用。

AI 專案 KPI,應該分成三個層次

製造業 AI 專案不是不看準確率,而是要把準確率放在正確的位置。

第一層是模型指標
包括準確率、漏檢率、誤判率、精確率、召回率、推論速度與模型穩定性。這些指標確認模型是否具備基本可用性。

第二層是流程指標
包括直通率、人工複判率、異常處理時間、週期時間、設備稼動率與在製品堆積情況。這一層決定 AI 是否真的改善現場作業。

第三層是商業指標
包括良率、報廢成本、重工成本、人力成本、客訴損失、產能提升與投資報酬率。這才是管理層判斷 AI 是否值得擴大導入的依據。

如果只有第一層做得好,AI 專案可能只是一個技術展示。

當三層 KPI 能夠串起來,才能回答真正重要的問題:模型的改善,是否真的轉換成工廠的改善?

從追求準確率,走向追求營運成果

製造業導入 AI,不是為了得到一個 99% 的數字。
而是為了讓工廠少一些報廢、少一些重工、少一些等待、少一些品質風險,同時更穩定地交貨、更有效率地運作。

因此,AI 專案一開始最該問的,不是…..模型準確率能做到多少?

而是:

  • 工廠目前最大的損失在哪裡?
  • 良率、直通率或週期時間,哪一項最值得改善?
  • 改善後能省下多少成本、增加多少產能?
  • 這套 AI 系統多久能創造可衡量的回報?

準確率很重要,但它不是最優先的。

在真正的工廠現場,良率、直通率、週期時間、成本與投資報酬率,才是 AI 專案最後必須交出的成績單。

更多文章…
迎接AI浪潮…職場與工作模式的轉型
數位轉型不只是導入 AI,還要把經驗變成流程
智慧製造研究 #4|開發團隊如何定義數位雙生的市場價值?


探索更多來自 YinOnMars 的內容

訂閱即可透過電子郵件收到最新文章。

發表迴響

探索更多來自 YinOnMars 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

繼續閱讀