LLM其實還蠻多家推出的，來搞懂LLM，我再想想規劃搜尋工具

Untangling where LLMs actually come from — cloud, open-source, and everything in between

思考AI融合工具時…
我隨手打了幾個選項上去：Ollama、Groq、OpenRouter……

我想了想…這些AI，我是知道？但是怎麼用更好….

雲端API，到底是怎麼收費的

很多「進階設定」，藏著自訂API那個選項。

但我發現，很多人（包括之前的我）對「打API」這件事有種模糊的恐懼——好像一按下去，帳單就會爆炸…爆掉TT。

來想想邏輯後，大概是這樣算：

▼ 你送一段文字進去（你的問題、你要它分析的內容） ▼ 它吐一段文字回來（它的回答） ▼ 這兩段文字都會被拆成「token」（不是完整的字，是字詞的碎片） ▼ 送進去的token跟吐出來的token，分開算錢 ▼ 通常吐出來的（輸出）比送進去的（輸入）貴一些

大部分平台都有一個「免費額度」，額度內不用錢，超過才開始算。有些是「每個月重置」，有些是「額度用完就沒了要付費」。

我自己的理解是——這個計費邏輯，其實跟你「丟多少內容進去」直接相關。我的工具會把候選段落餵給LLM生成摘要，那段落長度、丟幾筆進去，某種程度上就是在決定要花多少「token」。這件事我以前寫網頁版的時候完全沒想過，現在自己要接API了，才開始有感。想完之後，我自己整理了一下計費邏輯，順一遍會比較有感覺：

項目	邏輯
計費單位	Token（文字被拆成的碎片，不是整句、也不是整個字）
送進去的內容	輸入token，通常比較便宜
它回你的內容	輸出token，通常比較貴
免費額度	大部分平台都有，額度內不算錢
額度用完之後	有的每月重置、有的用完就直接開始扣款
跟我工具的關係	候選段落丟越多、越長，等於輸入token越多

開源模型的雲端API，跟「非開源」的雲端API，其實不一樣

我知道有很多AI除了大品牌推的，但也有開源的可以使用

之前我以為「雲端API」就是一種東西。後來才發現，我下拉選單裡的 Groq 跟 OpenRouter，跟我原本以為的「雲端AI」，邏輯上不太一樣。

我自己拆成兩種：

第一種：開源模型，架在別人的雲端上

像 Groq，它自己沒有從零訓練一個模型，它是拿 Meta、Alibaba 這些開源出來的模型（Llama、Qwen這類），放在自己的伺服器上，用很快的硬體幫你跑。

你打API過去，其實背後是一個「大家都看得到權重、看得到怎麼訓練出來」的模型在回你，只是你沒有自己裝，是Groq幫你裝好、開好機器等你用。

第二種：模型本身也不開源的雲端API

OpenAI、Anthropic這類，模型本身是關起來的，你打API，回你的是什麼、裡面怎麼運作，你看不到，你買的是「結果」，不是「模型」。

這兩種我原本混在一起想，覺得反正都是「打API、雲端跑」，感覺一樣。

後來才發現差別在哪：開源模型的雲端API，理論上你隨時可以把它「請下來」自己裝在本機跑（如果你電腦夠力的話）；非開源的那種，你永遠只能打API，模型本身你拿不走。

這對我做工具是個關鍵想法——如果我讓使用者選「開源模型的雲端API」，那我等於也在幫他們鋪一條路：以後想脫離雲端、資料完全留在本機，是有可能的，不是死路。如果選非開源那種，那就是綁死在雲端上，沒有回頭路。

這個對比我自己也整理了一下，方便之後回頭看：

項目	開源模型的雲端API（例：Groq跑Llama）	非開源的雲端API（例：OpenAI／Anthropic）
模型來源	公開的權重，任何人理論上都能拿到	封閉，外部看不到權重
你打API拿到的	一個「你查得到怎麼訓練」的模型的回答	一個「黑盒子」的回答
能不能改跑本機	可以，理論上能把同一個模型拉下來裝在自己電腦	不行，永遠只能透過API
對隱私的意義	現在雲端跑，但保留「以後搬回本機」的選項	綁定雲端，沒有回頭路
我工具裡對應的	Groq、之後也可能接的開源雲端服務	目前工具沒有接這類，先不用

那，開源模型可以直接裝在自己電腦上跑

這塊是我工具現在真正在用的部分——Ollama。
打一行指令，模型就拉到本機，資料不用送出去，跑起來也不用打API金鑰。

但這裡有個東西我一直在想：「本機跑」聽起來很爽（隱私、不用錢），可是它是有代價的——你的電腦要扛得住。

這個代價是什麼、怎麼判斷自己電腦扛不扛得住，我還在測，這部分之後應該會單獨寫一篇，因為牽扯到我自己踩過的坑，現在講可能講不清楚。先把「同一個開源模型，跑在雲端跟跑在本機」的差別整理一下，這樣之後回頭看比較清楚我當初在想什麼：

項目	開源模型跑在雲端（例：Groq）	開源模型跑在本機（例：Ollama）
資料會不會出門	會，內容要送到對方伺服器	不會，全程留在自己電腦
要不要打API金鑰	要	不用
速度靠什麼	對方的伺服器硬體，通常很快	自己電腦的硬體，看規格
費用	照token計費（有免費額度)	電費而已，模型本身不用錢
門檻	申請帳號、拿金鑰	電腦要扛得住，這塊我還在測

開源AI，其實是「已經被訓練好」的

或許有人（包括之前的我）會誤會：「開源」聽起來像是「你拿到一個空的AI，自己訓練」。然後….想怎樣就怎樣….哈其實有點難…也不是不行，那樣設備要夠訓練會累到爆….沒說不行就看需求。

不管是Ollama上抓下來的、還是Groq上打API叫的那些模型，它們都已經被 Meta、Mistral、Alibaba、DeepSeek 這些團隊，拿海量資料訓練好、包成一包「權重」放出來。

你拿到的，是一個已經「學會」怎麼理解語言、怎麼生成回答的東西，你不用自己從零開始教它說話。

「開源」開的是這包訓練好的成果，不是開一個訓練的過程給你自己跑一遍——那個門檻高到不是我現在這個階段要碰的東西。

分享兩個資源….

可以了解了解與先記下來。

第一個是 OWASP（一個專門在講資安的開源社群）在2026年出的《LLM & GenAI Security Landscape》，把 LLM／Gen AI 這整條開發到部署的流程，用一張圖畫出來，哪個階段該注意什麼資安問題、有哪些工具可以用，一次看完：

出處：OWASP Gen AI Security Project – AI Security Solutions Landscape For LLM and Gen AI Apps Q2 2026

我目前工具還沒走到要認真想資安這一層，但光看這張圖，就知道以後要是真的做大、有更多人用，這些是躲不掉的問題，多思考多規畫對後續也會較好。

第二個是 artificialanalysis.ai，這個網站蠻猛的，它獨立測試各家LLM，把「聰不聰明」「多快」「多貴」全部量化成分數，攤在同一張圖上比。裡面還有一個「Openness Index」，直接把哪家開放權重、哪家封閉，畫成一張象限圖——剛好是我上面在想的「開源vs非開源」那件事，別人已經做成一個活的、會更新的資料庫了。

想確認某家LLM現在的定價邏輯、或是想知道某個開源模型跟GPT/Claude比起來聰明程度差多少，這個網站比我自己瞎猜準得多，之後應該會常回來看。

以前呢….是「隨手輸入上去，能用就好」。我知道它代表使用者在做什麼樣的取捨——要快還是要隱私、要免費額度還是要完全不受限、要相信別人的雲端還是要自己電腦扛。

「本機規格到底怎樣才跑得動」，這個我猜想電腦，先放著，之後再說。