Open-source LLMs need VRAM, not just RAM — mapping hardware to models before I build
開源分兩條路：一條是雲端幫你跑（像Groq），一條是自己裝在電腦上跑（像Ollama）。
雲端那條，你不用管自己電腦規格，反正是別人的伺服器在扛。但本機這條，規格就是硬門檻了——不是「能不能用」，是「你的電腦撐不撐得住」。
兩個關鍵：VRAM跟RAM，是不同的東西
查資料才知道，本機能跑什麼模型，關鍵是兩種記憶體，不是同一種：
- RAM：電腦的系統記憶體，大家平常買電腦都會注意的那個規格，例如16GB、32GB
- VRAM：顯卡自己的記憶體，跟RAM是分開的兩塊空間，只有顯卡在用
如果你的顯卡有被吃到（有裝GPU、有跑CUDA這類加速），跑起來主要看VRAM夠不夠——VRAM是主戰場，模型的權重優先塞進這裡，跑起來才會順。
如果顯卡沒被吃到，或VRAM不夠，模型會退而求其次，用RAM頂著跑——能跑，但速度會明顯變慢，慢到可能一個字一個字慢慢吐。
簡單說：VRAM決定跑不跑得「順」，RAM決定至少跑不跑得「動」。
量化：同一個模型，可以壓縮成不同版本
同一個模型（例如8B參數），透過「量化」可以壓縮成不同版本，需要的VRAM差很多：
| 量化 | VRAM需求（以8B模型為例） |
|---|---|
| FP16（未壓縮） | 約16GB |
| Q8 | 約9GB |
| Q6 | 約7GB |
| Q5 | 約6GB |
| Q4_K_M | 約4.8~5.5GB |
這就是為什麼大家都推薦GGUF的Q4_K_M量化——同樣一個8B模型，壓一壓，6GB的顯卡也能跑。
代價是什麼？查到的說法是，Q4量化大概能保留95-98%的原始品質，現在的量化技術已經做得很細，不像早期那樣壓完會明顯變笨。
VRAM對照：不同顯卡，大概能跑多大的模型
這是查到的經驗值（以GGUF Q4量化為準）：
| VRAM | 可跑模型等級 |
|---|---|
| 4GB | 3B～4B |
| 6GB | 7B～8B |
| 8GB | 8B～10B |
| 12GB | 12B～14B |
| 16GB | 14B～32B |
| 24GB | 32B以上很舒服 |
| 48GB+ | 70B模型 |
這裡有個坑要提醒：同樣叫RTX 3060，桌上型跟筆電版的VRAM可能不一樣，桌機版常見是12GB，筆電版（Laptop）常常只有6GB或8GB，買之前、或對照自己電腦時要看清楚是哪一種，不能只看型號名稱。
RAM對照：VRAM不夠時，靠這個頂著
| RAM | 建議 |
|---|---|
| 8GB | 不推薦，只能勉強跑最小的模型 |
| 16GB | 可以跑8B模型，算最低建議值 |
| 32GB | 舒服很多，13B以上比較有餘裕 |
| 64GB | 可以跑更大型的模型 |
還有一個容易漏掉的東西，叫「KV cache」——對話的上下文塞得越滿，模型要記住每個token的注意力狀態，這個狀態也會佔記憶體空間，不是只有模型本身的權重在佔。查到的說法是，一個原本4K上下文能塞進8GB的7B模型，如果把上下文拉到128K，可能會需要到12-16GB——上下文開得越大，吃的記憶體也越多，不是固定的。
目前主流的開源模型，大概落在哪個等級
| 模型 | 參數 | 建議用途 | 6GB VRAM能跑? |
|---|---|---|---|
| Qwen 3.5 4B | 40億 | 一般聊天 | ✅ 流暢 |
| Qwen 3.5 8B | 80億 | 綜合推薦 | ✅（Q4量化） |
| Gemma 4 12B | 120億 | 多模態、摘要 | ⚠ 勉強（大量靠RAM） |
| Phi-4-mini | 38億 | 低資源機器、CPU也能跑 | ✅ 非常輕鬆 |
| DeepSeek V4 32B蒸餾版 | 320億 | 推理能力佳 | ❌（VRAM不夠，需更高階顯卡） |
| Llama 4 Scout | 千億等級 | 超長上下文（千萬token） | ❌ 需要多GPU |
| GLM-5.2 | 千億等級 | 頂尖程式碼／agent能力 | ❌ 需要多GPU |
有個提醒：這幾個名字是查資料時看到2026年中比較常被提到的，但模型名稱一直在換代，很正常，重點不是記住哪個型號，是背後這套「VRAM邏輯」不變，不管型號怎麼變，同樣的參數量、同樣的量化程度，需要的VRAM大致就是這個等級。
MoE架構，是個容易誤判的地方
查資料時卡住一下——有些新一點的模型是「MoE」（混合專家）架構，例如Llama 4、GLM-5.2這類。
MoE模型標榜的是「推論時只啟動一部分參數」，聽起來很省資源，但這裡有個容易誤判的地方：雖然推論時只用到一部分，但全部專家的權重還是得先載入記憶體，所以規格夠不夠，看的是「總參數量」，不是「啟動參數量」。
這個之後選模型要記得看清楚，不然可能會誤以為「啟動參數才幾十億，我的顯卡應該夠」，結果其實是總參數上千億，根本塞不進去。
不要一開始就挑最大的模型
要挑電腦扛得住的模型，小一點、跑得動的，通常比那種一裝就當機、要靠RAM硬撐、慢到一秒吐一個字的巨大模型更實用。
想試的話，去哪下載
開源模型主要從這幾個地方拿：
- Ollama Library（ollama.com/library）——最懶人的路線，打
ollama pull 模型名稱就直接拉下來，量化版本通常都幫你準備好了，不用自己選 - Hugging Face（huggingface.co/models）——原始權重的大本營，幾乎所有開源模型第一手都在這裡放出來，但檔案比較原始，有時候要自己找GGUF量化版本，或自己轉檔
- LM Studio（lmstudio.ai）——有圖形介面的下載器，不想碰指令列的話，用這個直接搜尋、下載、跑，都在同一個視窗完成
我自己工具目前綁的是Ollama這條路，所以之後應該也是從 Ollama Library 抓模型來測。
想跑更大的模型，大概要什麼等級的顯卡
順手整理一下，如果之後想升級，大概對照：
| 想跑的模型 | 建議顯卡 |
|---|---|
| 8B | RTX 3060、RTX 4060（8GB以上） |
| 14B | RTX 4070 Super / 4070 Ti Super（12–16GB） |
| 32B | RTX 4090 24GB 或 RTX 5090 32GB |
| 70B | 多張高階GPU、或Apple Silicon統一記憶體機種、或雲端伺服器，一般玩家不太會在家跑 |
VRAM是主要，RAM是備胎，量化決定門檻高低，MoE架構要看總參數不是啟動參數。
實際拉哪個模型下來跑、跑起來到底順不順，這個要等真的開始測才知道，先放這裡，之後測完再來寫。
YinOnMars 
發表留言