30 Days of AI Stock Prediction: When the Model Starts Guessing Randomly

系統目前在美股的測試樣本數已經來到 34,517 筆，模型的預測準確率卻只剩下 51.99%，ROC-AUC 更是只有 0.5031。簡單來說，這個模型幾乎已經失去分辨能力，表現跟隨機猜測差不多。越改越差….欸

更嚴重的是，當把模型分數分箱來看時，發現一個很反常的現象：模型給出的分數越高，實際命中率反而越低。這代表系統目前不只「猜不準」，還會「不知哪來的自信….地猜錯」。

為什麼原本有一定邏輯的系統，會慢慢變成這樣？思考後…認為主要可能有幾個原因：

特徵的預測力已經大幅衰退

原本使用的技術面、籌碼面指標，在這批資料中與明日漲跌的相關係數幾乎都接近 0，甚至出現負相關。這表示過去有效的指標，在目前市場環境下已經失去作用。尤其在 AI 題材高度集中、資金流動快速的這幾年，傳統技術指標的失效速度比我想像中更快。

LLM（事件面）幾乎完全失效

查看中發現最嚴重的問題。系統中用來判斷新聞與事件面的 LLM，出現了極度偏態的現象——99.8% 的判斷都是「偏多」。這種情況導致 LLM 已經無法提供有效資訊，甚至反向使用時準確率反而比較高。這代表目前的 prompt 設計與判斷邏輯已經跟不上市場變化，LLM 只是單純在「猜多」，而不是真正做判斷。

目標設定的問題

原本把預測目標設定為「明日漲跌」，但在目前市場波動大、個股同漲同跌的環境下，單日漲跌其實充滿隨機性。模型很難從有限的特徵中抓到穩定的規律，久而久之就容易退化成幾乎都猜上漲的狀態。

市場結構的改變比模型更新還快

可能最根本的原因。AI 相關股票的交易邏輯，已經從「基本面 + 技術面」轉向「題材、資金動能、以及市場情緒」為主。當市場的驅動因素改變，而我的特徵組合還停留在舊的框架時，模型自然會越來越不準。

想想後覺得目前的系統已經不能再繼續用「微調」的方式修補。需要從特徵工程、預測目標、以及 LLM 的使用方式三個方向，進行比較大幅度的調整。

應該要先針對 LLM 的判斷邏輯做重新設計，同時也會考慮把預測目標從「明日漲跌」改成更長期的漲幅或強弱排序。短期內可能不會再輕易上線新的預測結果，而是先把基礎打穩再說。

有失敗才有進步…

修改後的模型跑完後，失敗到…無言，但也算是一次比較徹底的檢討。把問題找出來，可以做失敗參考…欸

股票本來就難，實驗融合就找難的，要是達成提升…就好了。比我另外做的產品規格CP值預測還難…呼。

• About
• 文章