Estimate the hardware you need to run AI models locally

這個小工具，讓想建立開源AI使用的人購買電腦前，先估算目前的裝置能不能跑目標模型，以及大概需要多少記憶體、系統 RAM、電源和 SSD 空間。

先看模型放不放得下

模型大小不是全部。Context 越長，KV Cache 佔用也會增加；執行模型還需要額外記憶體。

這個工具會依照你的裝置、模型和用途，估算所需的記憶體與周邊規格，並標示常見容量能不能應付。

支援桌機獨顯、筆電和 Mac 統一記憶體，也內建 Llama、Qwen、Mistral、Phi 等模型規格。想確認計算方式，可以展開進階設定查看模型參數、量化設定和記憶體用量拆解。

計算在瀏覽器內完成，不需登入，資料不會上傳。

想看細節，也能展開公式

如果只想知道大概需要什麼規格，看建議就可以。想知道數字怎麼來的，也能展開進階設定，調整模型參數、層數、KV heads、head dim、權重量化和 KV cache 精度。

計算結果會把記憶體拆成模型權重、KV cache 和額外開銷。也會列出公式和使用的估算方式，方便有需要的人自己檢查。

模型規格內建 Llama 3.1、Qwen、Mistral、Phi 等選項，也可以自己輸入參數。工具支援桌機獨顯、筆電和 Mac 統一記憶體，方便比較不同裝置大概能跑到什麼程度。

更多文章…
筆電散熱與規格選購計算器
顯卡對應電源瓦數 線上計算工具
PC組裝散熱與機構配置計算器
鋁擠散熱計算器 不用反覆問AI了
屬於自己的 AI 助理 開源LLM教學：用 Ollama + AnythingLLM 打造離線版 NotebookLM（6GB顯卡實測可跑）

• About
• 文章