開源LLM教學2026：用 Ollama + AnythingLLM 打造離線版 NotebookLM（6GB顯卡實測可跑）

Build Your Own Local AI Assistant with Open-Source LLMs

內容目錄

什麼是「開源LLM」

如果不熟這個詞，用一個比喻理解就好…

你現在用的ChatGPT、Claude這些，比較像是「吃餐廳」——方便，但要付錢，菜色也是店家決定的，店家想漲價、想停業，你都沒得選。

「開源LLM」則比較像是「拿到一份公開食譜，自己下廚」——食譜完全免費公開，煮出來的東西是你自己的，從此離線也能用，資料也不會傳到別人的伺服器。只是你得自己準備食材跟廚具（也就是電腦），也得花點功夫學怎麼煮。目前比較知名的開源模型家族包括Llama（Meta出的）、Qwen（阿里巴巴出的，中文能力很強）、DeepSeek、Gemma（Google出的）等等，「食譜」都是免費公開的。

代價是什麼？你需要自己的電腦有一定的硬體規格（尤其是顯卡），而且效果通常會比最頂級的付費雲端AI稍微遜色一點——但對日常使用，其實已經很夠用了。

如果你想了解開源LLM的生態系、規格需求、跟雲端AI的差異，我之前寫過幾篇科普文，可以先去看看：

市面上有 NotebookLM、有 Manus，看起來都很威。其實可以完全自己在家裡的電腦上做，而且是開源、免費、資料完全不外流的版本。

打造一個完全屬於自己的 AI 助理(本機運作)…一毛錢都不用花

Ollama：讓你能在自己電腦上跑開源AI模型，完全離線運作
AnythingLLM：介面長得很像 NotebookLM，你把資料丟進去，它自動幫你建立可檢索的知識庫

都是免費、開源，裝在自己電腦裡，只要設定好資料不會傳到雲端伺服器。

開始…..

Step 1：確認電腦的規格

現實的問題，也是有誤會的地方：本地跑AI，不是隨便一台電腦都能跑。

一般文書機、或是只有內顯（沒有獨立顯卡）的筆電，基本上是跑不動的，或者跑起來會慢到讓你想砸電腦。原因是本地跑AI模型，最吃重的不是CPU，而是獨立顯卡（GPU）裡的VRAM（顯示記憶體）——模型愈大，需要的VRAM愈多。

所以在你下載任何東西之前，先確認一件事：你的電腦有沒有獨立顯卡？（不是內建顯示晶片，是真的有一張獨立GPU，例如NVIDIA的RTX系列）。如果沒有，也不是完全沒救，可以跑CPU模式，只是速度會慢很多，比較適合拿來做非即時性的任務（例如放著跑一批資料處理），不適合拿來即時聊天問答。

市面上在賣的「AI PC」，聽起來好像是什麼特殊的新科技，
但拆開來看，講白了大部分就是「一台配備夠力獨立顯卡的筆電或桌機」，
跟你自己組一台有獨顯的電腦，本質上沒有太大差別。

如果已經有一台遊戲筆電、或是有獨立顯卡的桌機，
其實不用特地去買貼著「AI PC」標籤、價格通常貴一截的機種，
只要確認顯卡規格夠用（VRAM至少6GB以上會比較舒服），就能開始玩了。有些AI PC會內建額外的NPU,對某些特定AI運算有加速效果…

假設筆電規格大概是這樣（僅供參考對照）：

項目	規格
CPU	11代 i7
RAM	16GB
GPU	RTX 3060 Laptop，6GB VRAM

怎麼查看電腦規格…

按 Windows鍵 + I 打開「設定」
點「系統」
點最下面「關於」
就會看到裝置規格，包含處理器、記憶體(RAM)、圖形卡(GPU)等資訊

VRAM只有6GB算是入門偏保守的等級，但完全夠用——重點是選對模型大小。這規格可用這兩個模型來試…

qwen3:8b（主力，品質較好，中文能力也不錯）
phi4-mini（備援，體積小、速度快）

這兩個加起來大概7-8GB硬碟空間，VRAM都塞得下，運作起來還算流暢。

如果….顯卡VRAM更小（例如4GB以下），可以考慮更小的模型，或先用CPU跑（會比較慢，但至少能動）。

Step 2：裝 Ollama，把模型抓下來

前往 ollama.com/download 下載安裝，

裝完打開命令提示字元
（Windows鍵+R，輸入cmd），貼上：
ollama pull qwen3:8b
ollama pull phi4-mini

跑完之後輸入 ollama list 確認模型都在，就完成第一階段了

Step 3：裝 AnythingLLM，建立你的知識庫

前往 anythingllm.com 下載

點擊安裝…

安裝後開啟會看到一些內建功能介紹（例如語音輸入之類的），如果用不到可以先跳過，按+建立你的第一個「Workspace」（工作區）

輸入名稱按Save

工作區完成在按右邊的上傳(齒輪左邊的上傳符號)

Step 4：把資料餵進去

選擇的資料上傳…我用英文的pdf上傳(來源:博幼基金會)

再按移動到工作區

在按右下的儲存並崁入…完成~

Step 5：選擇模型

把模型選擇 qwen3:8b

Step 6：設定本機對話

讀取上傳的文件做回答討論

Step 7：開始對話

它真的讀得懂…它能準確從我丟進去的文件裡抓出對應段落回答，還附上引用來源——不是憑空亂編，是真的去查了資料庫。

不只…能拿來學英文

其他學習資料、上課筆記：不只是英文，任何科目的筆記、教材，都可以丟進去，之後複習時直接問AI「這個主題我筆記裡寫了什麼」，比自己翻資料夾快很多，而且是根據你自己的筆記回答，不是網路上的通用答案
工作資料夾、專案資料夾：把工作文件、專案資料丟進去，AI可以幫你讀取、整理、回答相關問題。因為整套系統是跑在自己電腦上，不會有資安上的疑慮

不過這裡有一個地方要特別提醒：如果你之後接上雲端AI當備援（例如額度用完自動換Gemini、Groq這些雲端服務），要注意一件事——你的資料就有可能被傳到雲端公司的伺服器上處理，不再是完全只留在你自己的電腦裡。

考慮資安的嚴謹一點的講法是：只有全程使用本機模型、完全不接任何雲端備援，資料才會百分之百只留在自己的電腦裡，不會被傳到任何外部伺服器。工作機密資料、還沒公開的內容，建議只用純本機模式；學習筆記這種比較沒有敏感疑慮的資料，才適合接雲端備援，換取更好的品質或速度。

試試看

整套流程其實不難，最花時間的是「搞懂每個名詞在幹嘛」，實際操作反而簡單。如果也想打造一個屬於自己的知識庫助理，不管是拿來管理學習筆記、工作文件，還是興趣收藏的資料，這套組合都值得一試——重點是：完全免費、資料完全留在自己電腦裡。

雲端AI在某些地方還是贏很多

寫到這裡，必須承認本地開源LLM很棒，但不是萬能藥，有些事它真的比不上ChatGPT、Claude這些雲端AI。

圖片、多模態處理是最明顯的差距。雲端AI公司砸的資源，很大一部分就是在訓練模型「看懂圖片」這件事——複雜的圖表判讀、手寫辨識、圖片裡文字擷取，雲端模型通常又快又準。本地開源模型雖然也有支援圖片的版本（例如Llama、Qwen都有多模態版），但受限於你電腦的硬體規格，能跑的版本通常比較小，準確度會打折扣。

超長、超複雜的推理任務也是。像是要求AI一次讀完一份幾百頁的文件、做跨文件比對、抓出裡面所有邏輯矛盾，這種需要「超強記憶力+超強邏輯」的任務，雲端的旗艦模型（背後是價值上億的伺服器在運算）表現通常還是比較穩，本地小模型容易漏東漏西，或者乾脆記憶體不夠直接當機。

說到底，本地開源LLM的強項是「隱私」跟「零成本」，不是「最強」。它比較適合拿來處理你自己的資料、日常問答、寫作潤稿這類任務；雲端用來處理需要極致複雜運算、或大量圖片辨識的工作。