表格資料也有自己的 AI 基礎模型?認識 TabPFN

表格資料也有自己的 AI 基礎模型?認識 TabPFN

Meet TabPFN — A Foundation Model That Learns from Synthetic Tables to Predict Real-World Data

平常談到 AI,第一個想到的可能是 ChatGPT、Gemini,或是能夠生成圖片、影片的模型。

這些模型處理的資料大多是文字、圖片或影音。但在企業裡,還有一種資料幾乎每天都在使用,卻很少被拿來和生成式 AI 放在一起討論…

表格資料。

從產品規格、銷售紀錄、庫存、客戶資料,到製造參數、成本、測試結果,很多企業的重要資訊都存在 Excel、CSV 或資料庫裡。

這些資料通常有固定欄位,一列代表一筆紀錄,一欄代表一種特徵。看起來沒有什麼特別,卻包含了大量可以用來預測的資訊。

過去要分析這些資料,經常會使用 XGBoost、Random Forest 或其他機器學習方法。資料整理好之後,選擇模型、訓練、調整參數,再透過測試資料確認預測效果。

這套方法已經相當成熟。

不過,近年出現了一個有趣的方向…

如果模型在正式使用之前,就已經看過大量電腦模擬生成的表格資料,學會不同資料之間可能存在的關係,面對新的真實資料時,是不是就不必每次都從頭訓練?

這正是這類表格基礎模型想解決的問題。

表格資料也有專屬的 AI 基礎模型

預訓練基礎模型的全名是 Tabular Prior-data Fitted Network,由 Prior Labs 開發。

它是一種專門處理表格資料的預訓練基礎模型,核心架構使用 Transformer。

這裡的 Transformer,和大型語言模型使用的技術有關,但兩者處理的資料型態不同。

大型語言模型主要學習文字中的關係,預訓練基礎模型則是學習表格欄位之間的關係,以及這些欄位如何影響預測目標。

先想像一份產品資料表…

產品散熱器高度風扇尺寸重量售價
A155 mm120 mm850 g1,290
B160 mm140 mm1,050 g1,690
C145 mm120 mm720 g990
D165 mm140 mm1,200 g2,090

每一欄都是一種特徵,售價則是想要預測的目標。

如果希望預測新產品的合理價格,模型就要從既有資料中找出產品規格與價格之間的關係。

這就是典型的表格預測問題。

它特別的地方,不是它能讀取 Excel,而是它在正式接觸這份產品資料之前,就已經透過大量合成資料進行預訓練。

這個設計讓它不只是單純把一份資料拿來訓練,而是先學習一套可以應用在不同表格資料上的預測能力。

大量合成資料,是模型學習的關鍵

看到預訓練基礎模型使用少量真實資料就能進行預測,可能會產生一個疑問…

既然資料不多也能預測,那它在訓練時是不是也只使用少量資料?

其實剛好相反。

這個模型在預訓練階段使用的是大量合成資料,而少量真實資料指的是實際使用時提供給模型的資料。

這兩個階段不能混在一起。

預訓練階段…先讓模型看過大量模擬情境

Tabpfn 預訓練階段...先讓模型看過大量模擬情境

開發團隊會透過電腦生成大量不同的合成表格資料集。

這些資料不是直接從某一家公司的 Excel 複製而來,而是透過設計好的生成程序,建立各種不同的欄位、數值分布,以及特徵與預測目標之間的關係。

有些資料可能呈現線性關係,有些可能有複雜的非線性關係,也可能包含雜訊、異常值、缺失資料或不同類型的欄位。

接著,模型會透過這些模擬資料學習如何預測被遮蔽的目標欄位。

這個過程會持續進行,讓模型逐漸學會不同表格情境下可能出現的規律,可以把它想成一位已經做過數百萬份模擬考題的學生,他不只是背下某一份考卷的答案,而是在大量不同題型中,逐漸學會解題的方法。

這種預訓練概念有點類似。

真實資料推論階段…再拿少量資料來判斷

當模型完成預訓練,正式應用時就不需要再從頭學習整套預測方法。

使用者只要提供新的真實表格資料,包含已知答案的訓練資料,以及需要預測的資料。

模型會把這些已知資料當成上下文,透過已經學到的能力,推論尚未標記的資料。

這種方式稱為 In-Context Learning,中文通常稱為上下文學習。概念向下面這張表。

階段使用資料目的
預訓練大量合成資料學習不同表格資料的規律
實際應用少量或中小規模真實資料提供模型判斷依據
預測尚未標記的資料推論目標欄位的可能結果

這裡有個重要差異…傳統機器學習通常需要針對新的資料集進行模型訓練;這類模型則已經先完成通用能力的預訓練,使用時透過上下文資料進行預測。

因此,雖然程式介面也可能看到 fit() 和 predict(),但不能直接把模型的 fit() 理解成傳統模型那種重新訓練模型權重的過程。

它的核心是把目前的訓練資料放進模型的上下文,讓模型在推論時利用這些資訊。

這也是這個模型和一般機器學習模型很不一樣的地方。

為什麼表格資料需要自己的 AI 基礎模型?

文字模型可以透過大量網路文字、書籍和文件學習語言規律,圖片模型可以透過大量圖片學習形狀、顏色與物件特徵。

但表格資料有一個比較麻煩的地方…

每一份表格的欄位意義都可能完全不同。

同樣一個數字 100,在不同資料集中可能代表產品重量、銷售數量、溫度、價格,甚至是某種評分。

欄位的單位、資料型態、數值分布,以及彼此之間的關係,都會隨著應用領域改變。

因此,不能直接把文字模型處理語言的方式套用到所有表格資料上。

過去二十多年,梯度提升決策樹一直是表格機器學習的重要方法。XGBoost、LightGBM、CatBoost 都是常見工具。

它們在許多實際應用中表現非常好,也不會因為基礎模型出現,就突然失去價值。

這類預訓練模型的出現,比較像是開啟另一條路…不再只讓每個新資料集從頭訓練,而是先透過大量模擬資料學習一套預測能力,再拿到新的資料集上使用。

TabPFN 和 XGBoost 有什麼不同?

這兩個模型值得放在一起比較,因為它們都能處理表格資料的分類與預測問題,但背後的設計思路不一樣。

XGBoost 全名是 Extreme Gradient Boosting,屬於梯度提升決策樹。

它會逐步建立多棵決策樹,讓後續的樹修正前面模型尚未處理好的誤差,最後組合成預測結果。

這個模型則是以 Transformer 為基礎的預訓練模型,透過大量合成資料學習預測方式,再利用真實資料作為上下文進行推論。

比較項目TabPFNXGBoost
模型架構Transformer梯度提升決策樹
核心概念預訓練基礎模型逐步建立決策樹
學習方式大量合成資料預訓練針對資料集訓練
新資料使用利用上下文進行推論通常需要訓練或重新訓練
參數調整有預訓練能力作為基礎,仍可調整設定常需要調整樹深、學習率等參數
小型資料集是重要應用方向也能處理,視資料特性而定
大型資料集需確認版本、硬體與實際限制有成熟的大型資料處理能力
模型解釋可搭配解釋工具分析可透過特徵重要性等方法分析

這裡不需要急著判斷誰比較厲害。

XGBoost 的優勢是成熟、穩定,工具與實務經驗都很豐富。對於資料量較大、特徵經過整理,或需要大量反覆訓練的情境,仍然是很值得使用的選擇。

預訓練模型則提供另一種思考方式。

當手上的資料量不大,重新訓練與調整模型需要花費不少時間時,預訓練模型就可能帶來不同的效率與預測效果。

不過,這不代表表格預測模型只要資料少就一定準確。

資料品質、特徵是否有意義、目標變數是否可靠,以及新資料與模型預訓練時所學到的情境是否差異太大,都會影響結果。

模型可以學習規律,但不能憑空補出不存在的資訊。

不只一種選擇,還有其他表格資料模型

並不是唯一投入這個方向的模型。近年也出現其他表格資料基礎模型,值得一起認識。

TabICL…另一種上下文學習架構

TabPFN 不只一種選擇,還有其他表格資料模型

TabICL 是由 INRIA 研究團隊發展的表格資料基礎模型。

它同樣使用預訓練 Transformer,透過 In-Context Learning 處理表格資料。

目前官方 GitHub 已經提供 TabICLv2,並且支援分類與迴歸。

官方公布的基準測試顯示,TabICLv2 在 TabArena 等測試環境中,對比經過大量參數調整的 XGBoost、CatBoost 和 LightGBM,在約八成資料集上取得更好的結果。

這是開發團隊公布的特定基準測試結果,不代表所有資料集、所有產業都會有相同表現。

比較有意思的是,TabICL 也採用上下文學習的概念,但在資料規模、模型設計與運算方式上有自己的做法。

CatBoost 與 LightGBM…傳統表格模型依然重要

如果把視野拉回傳統機器學習,還有兩個常見的名字。

CatBoost 特別重視類別型特徵的處理,對於產品類別、品牌、供應商、地區等資料型態,提供相當方便的建模方式。

LightGBM 則是另一種梯度提升決策樹,著重訓練效率與大型資料處理能力。

它們不是表格資料基礎模型,而是成熟的梯度提升決策樹工具。

把這幾種模型放在一起,就能看出目前表格預測大致有兩個方向…

模型類型主要特色
TabPFN表格資料基礎模型合成資料預訓練、上下文推論
TabICL表格資料基礎模型預訓練 Transformer、上下文推論
XGBoost梯度提升決策樹成熟、彈性高、應用廣泛
LightGBM梯度提升決策樹重視訓練效率與資料規模
CatBoost梯度提升決策樹類別型特徵處理能力

這些模型沒有必要只選一個。

真正要做產品預測或企業資料分析時,應該把它們放進相同的資料切分與評估條件下比較,而不是只看官方排行榜或單一論文的結果。

表格資料預測可以應用在哪些地方?

表格資料幾乎存在於每個產業,因此應用範圍其實相當廣。

應用方向可以預測的內容
產品開發產品成本、規格與市場價格關係
製造業製程參數與良率、品質結果
零售業銷售量、需求與庫存變化
金融信用風險與違約分類
醫療研究臨床資料與風險分類
供應鏈交期、需求與供應風險

這些應用都需要先有足夠可信的歷史資料,以及明確的預測目標。

模型能做的是從既有資料中學習關係,並對新的資料做推論。

如果資料本身存在偏差,或是未來環境已經和歷史資料完全不同,預測自然也可能失準。

尤其在企業應用時,不能只看模型的準確率,還要確認資料來源、時間切分、驗證方式,以及預測結果是否真的能支援決策。

想實際試用,需要準備什麼?

這部分比較實際,它已經提供 Python 套件,也有官方的雲端服務與圖形介面,不一定要從論文開始研究。

目前可以從以下幾個入口認識它。

官方資源與使用入口

資源網址用途
Prior Labshttps://priorlabs.ai/開發團隊與產品資訊
GitHubhttps://github.com/PriorLabs/TabPFN原始碼、安裝與使用說明
官方文件https://docs.priorlabs.ai/模型與技術文件
UXhttps://ux.priorlabs.ai/圖形化操作介面
API / Pricinghttps://priorlabs.ai/pricing雲端 API 與方案資訊
Nature 原始論文https://www.nature.com/articles/s41586-024-08328-6研究原理與實驗結果

本機安裝需要註冊嗎?

如果希望在自己的電腦上使用 Python 版本,可以從 GitHub 開始。

基本安裝指令如下…

pip install tabpfn

官方目前預設使用 TabPFN-3.5,並提供分類與迴歸的模型介面。

第一次使用時,除了安裝套件,還需要下載模型權重。

這裡有一個容易忽略的地方…

目前公開模型權重的下載需要透過 Prior Labs 帳號登入,並接受模型授權條款。

第一次使用時,系統會引導開啟瀏覽器完成登入與授權,取得模型權重後會存在本機。

完成下載後,資料可以在本機進行推論,不必每次都把資料上傳到雲端。

如果沒有 GPU,也可以使用 CPU,但運算速度與可處理的資料規模會受到限制。

官方 GitHub 目前列出 Tab PFN-3.5 的參考上限為最多 100 萬筆資料與 20,000 個特徵,但這不代表任何電腦都能輕鬆處理這個規模。CPU 使用情境的限制明顯更嚴格,硬體與實際記憶體需求仍需另外評估。

不想安裝 Python,可以使用雲端服務嗎?

可以。

Prior Labs 也提供 Tab PFN API 與圖形化操作介面。官方目前提供免費使用額度,使用 API 需要建立帳號並取得 API Key。

這種方式比較適合想先確認模型效果、又不想花時間處理本機環境的人。

不過,使用雲端 API 就代表資料會依照服務條款送往服務端處理,企業資料是否能夠上傳,仍要先確認公司內部的資安與資料政策。

免費就代表可以商業使用嗎?

這件事特別值得注意。

Tab PFN 的程式碼、公開模型權重與雲端 API,並不是完全相同的授權條件。

目前官方資料如下…

使用方式是否需要帳號費用與授權注意事項
本機 Python + TabPFN-3.5需要 Prior Labs 登入與接受授權公開權重採非商業授權
TabPFN 雲端 API需要註冊並取得 API Key有免費額度,商業使用依 API 服務條款
Private Cloud / On-prem需洽官方商業部署需要相應商業授權
TabPFN GitHub 程式碼GitHub 帳號非一般下載必要條件程式碼與模型權重授權要分開看

這裡最重要的是…

免費測試,不代表可以直接把公開模型權重放進商業產品或正式營運系統。

  • 如果只是個人研究、學術實驗或內部初步評估,可以先閱讀官方授權條款。
  • 如果要把模型用在營收相關的產品、正式商業決策或企業內部生產流程,則應該確認適用的商業授權。
  • 雲端 API 的免費方案與本機公開權重也不能混為一談,官方目前對兩者有不同的使用條款。

其他模型的官方入口

想比較不同模型,也可以直接從官方資源開始。

模型官方網站 / 文件安裝或使用方式
TabICLhttps://github.com/soda-inria/tabiclpip install tabicl
XGBoosthttps://xgboost.readthedocs.io/pip install xgboost
LightGBMhttps://lightgbm.readthedocs.io/pip install lightgbm
CatBoosthttps://catboost.ai/https://catboost.ai/docs/

TabICL 可透過 Python 套件安裝,首次使用時會下載模型權重。官方公開文件並未要求先申請 Prior Labs 帳號。

XGBoost、LightGBM 與 CatBoost 則是成熟的開源工具,一般不需要另外註冊模型服務帳號。

不過,開源套件與預訓練權重仍要各自確認授權條款,不能只看「可以免費下載」就認定所有用途都沒有條件。

從產品性價比研究,也接觸過這類模型

表格資料預測並不是只有學術研究才會遇到。

在 CPU 散熱器的產品性價比研究中,也曾經思考過一個問題…

如果手上有產品規格、電商價格、專家評論與市場資料,能不能讓 AI 協助判斷一款新產品的價格定位?

這個問題並不像聊天機器人那樣,輸入一段文字就能得到答案。

它需要把不同來源的資料整理成可以分析的欄位,再讓模型從歷史產品資料中學習規格、價格與評價之間的關係。

研究過程中也接觸了 Tab PFN、XGBoost 等模型,希望透過不同模型的能力,協助產品性價比預測。

這類研究不代表模型能夠直接算出市場上唯一正確的價格。

產品價格還受到品牌、通路、供需、產品定位與市場時間影響。模型能提供的是資料支持下的預測參考,最後仍然需要回到產品與市場本身判斷。

之前把這段研究過程整理成一篇文章,有興趣可以接著看…

從產品性價比研究到 AI 預測系統,我的 CPU 散熱器論文系統

表格資料的 AI,才剛開始有更多可能

過去談到 AI 基礎模型,焦點大多放在語言、圖片、影片與聲音。

但企業真正每天使用的資料,還有大量存在 Excel、CSV 與資料庫中的結構化資料。

TabPFN 帶來的想法其實很有意思…

不必每次遇到新的資料集,都從頭開始建立一套預測模型。先透過大量合成資料學習,再利用新的真實資料作為上下文,讓模型直接進行推論。

這不代表傳統機器學習已經過時,也不代表所有表格問題都應該改用 TabPFN。

XGBoost、LightGBM、CatBoost 仍然有自己的優勢,TabICL 也正在發展另一條路線。

真正值得觀察的,是表格資料分析開始出現新的模型設計方式。

也許未來 AI 不只會幫忙整理報表、寫分析摘要,還能更直接地參與產品定價、製造品質、庫存與市場預測。

原來,Excel 裡面那些一列一列的資料,也有自己的 AI 基礎模型。

更多文章…..
從產品性價比研究到 AI 預測系統,我的 CPU 散熱器論文系統
企業級AI Agent自動化重構,多Agent協作架構的思考
Next PC|接下來會變什麼樣?從鍵盤、觸控到個人智慧平台
產品不是死在開發,是死在交接
複製貼上就能比的懶人AI競品分析器
決策分析在做什麼?把選擇題變成可以算的題目
別把 AI 當成加速器:如果流程本身有問題,AI 只會幫你更快地失敗


探索更多來自 YinOnMars | 產品火星人 的內容

訂閱即可透過電子郵件收到最新文章。