Local LLM

From Gaming PCs to AI Workstations: Understanding VRAM, Memory Bandwidth, and Local LLM Hardware Needs

內容目錄

電腦硬體的升級邏輯，這幾年正在改變。

過去組一台好電腦，重點很直覺：文書機看 CPU 與記憶體，遊戲機看顯示卡效能，剪輯機看 CPU 核心數、GPU 加速與硬碟速度。

Local LLM 出現後，規則多了一層。

同樣是一張高階顯示卡，玩遊戲很順、剪 4K 影片也沒問題，拿來跑地端大型語言模型時，卻可能連模型都塞不進去。卡住的地方不在 GPU 核心數，也不完全是 CPU 或 RAM，而是顯示卡上的 VRAM，顯示記憶體。

遊戲電腦追求畫面更新率、解析度與光影效果；AI 工作站面對的是模型權重、長文件、對話紀錄與大量資料搬運。

看似都是「高效能 PC」，真正吃資源的地方卻不太一樣。

早期的電腦使用情境相對單純。

開瀏覽器、寫文件、收信、做簡報、處理試算表，主要依賴 CPU 的單核心效能與系統 RAM 容量。記憶體不夠時，開幾個網頁就會開始卡；CPU 太弱，多工處理會變慢。

這個年代的升級思維很簡單：

顯示卡多半只是負責輸出畫面。除了繪圖、3D 建模與專業影像工作，一般電腦幾乎不需要特別在意 GPU。

遊戲畫面愈來愈精細後，顯示卡開始成為整台電腦最受關注的零件。

高解析度、高更新率、光線追蹤、複雜場景渲染，都要靠 GPU 即時處理。遊戲玩家看顯示卡，通常會看幀數表現、散熱設計、功耗、畫質設定與價格。

VRAM 在遊戲機上也很重要，但它的使用方式與 AI 不完全相同。

遊戲主要把材質貼圖、畫面幀緩衝、光影資料與場景資源放進 VRAM。解析度拉高、材質品質提高、開啟光追效果，VRAM 使用量就會跟著上升。

顯示卡記憶體不夠時，遊戲仍有機會啟動，只是可能出現掉幀、貼圖延遲、畫面頓挫或載入變慢。

Local LLM 的狀況更直接。

模型放不進 VRAM，通常連順暢執行的門檻都摸不到。

影片剪輯、3D 渲染、直播、多軌音訊、特效合成與大型影像處理，讓高效能 PC 進入另一個階段。

這類工作不像單純玩遊戲，只依賴單一元件。剪輯軟體需要 CPU 解碼與轉檔，GPU 負責加速特效與輸出，RAM 放置時間軸快取，SSD 則處理大量素材讀寫。

創作型工作站的思路，開始從「買最強顯示卡」轉成「整台機器要平衡」。

Local AI 工作站也有類似特徵，但資源分配更偏向 GPU。

文件解析、向量資料庫、OCR、工作流程服務、模型管理與容器環境，都需要 CPU、RAM 與 SSD 支援；真正決定模型大小與互動速度的，仍是 GPU 與 VRAM。

地端大型語言模型運作時，最主要的資料是模型權重。

可以把模型理解成一大套已經訓練完成的參數。模型每生成一段文字，都要不斷讀取這些參數進行運算。權重越大，占用的 VRAM 就越多。

這也是 AI 工作站和電競機最容易混淆的地方。

一張遊戲表現很強的顯示卡，不代表特別適合跑 Local LLM。AI 推論更在意兩件事：

容量決定模型能不能放進去。

頻寬決定模型生成文字時，讀取權重的速度夠不夠快。

一台電腦的 CPU 很強、RAM 裝到 128GB、SSD 速度很快，GPU 只有 8GB VRAM，能處理的 Local LLM 規模仍然有限。系統 RAM 可以協助暫存，卻無法取代 VRAM 的速度。

模型一旦需要頻繁在 RAM 和 GPU 之間搬資料，回應速度就會明顯下降。

這個問題沒有單一答案，和模型大小、量化格式、上下文長度、輸出長度、同時使用人數都有關。

先用常見的 4-bit 量化模型作為概略參考。

模型規模	模型本體大約占用	較合適的 VRAM 起點	常見用途
7B～8B	約 5～7GB	8GB～12GB	短對話、基礎摘要、簡單文字任務
13B～14B	約 9～12GB	16GB	個人知識庫、程式輔助、日常工作任務
30B～32B	約 20～24GB	24GB～32GB	較複雜的推理、長內容整理、進階工作流
70B 左右	約 40～48GB	48GB 以上	高品質推論、團隊共享、專業部署