AI工作站興起，桌機市場會不會不一樣？

The Rise of Shared AI Workstations

內容目錄

最近在研究地端 AI 時，我開始思考一件事….如果公司想讓員工使用 AI，是不是每個人都需要一台配備高階顯示卡的電腦？

好像也不一定，我們平常使用公司的電腦，大多是各自處理自己的工作。文書、簡報、資料整理、設計、開發，各自有不同的硬體需求。

但 AI 的使用方式可能不太一樣。

假設公司有一台配備高階 GPU 的工作站，裡面部署了 Ollama 和不同的開源模型，其他員工只要透過公司內部網路，就能使用這台電腦提供的 AI 服務。

員工不需要自己安裝大型模型，也不一定需要高階顯示卡，自己的電腦負責操作，AI工作站負責運算，這樣看起來，一台工作站就有機會成為公司內部的 AI 中心。

問題也跟著來了……

一台電腦到底可以讓多少人使用？要買多大的 GPU？需要多少記憶體？如果公司有二十個人，買一台高階工作站就夠了嗎？

這些問題其實比單純比較顯示卡跑分有意思得多。

一台電腦，讓不同部門共用 AI

先想像一個簡單的情境。

公司有業務、PM、工程、採購和管理部門，每個人的工作都不太一樣，但可能都會需要 AI。

業務需要整理客戶資料、撰寫信件；PM 需要整理規格、比較競品、彙整會議內容；工程師需要閱讀技術文件、分析程式碼；採購需要比對供應商資料。

如果每個人都各自使用雲端 AI，可能會遇到資料管理、費用、權限等問題。
如果每個人都配置一台高階 GPU 電腦，採購成本又會變得很可觀。

另一種方式，是公司準備一台集中運算的工作站，這台工作站負責載入模型、處理請求，其他電腦透過內部網路連線使用。像是…

AI工作站安裝 Ollama，載入公司需要的開源模型。
透過內網 API 或 Web UI 提供服務。
員工使用瀏覽器或內部工具連線。
不同部門依照權限使用不同模型或資料。
公司可以集中管理模型、硬體和使用資源。

這裡的概念有點像公司內部的檔案伺服器，只是這次提供的不是檔案，而是 AI 推論服務。

當然，這不代表只要安裝 Ollama 就能直接變成完整的企業 AI 平台。多人帳號、權限、使用紀錄、模型管理、排隊機制和資料存取控制，仍然需要額外的服務層或管理工具。

但至少在硬體配置上，我們可以開始換個角度思考。

以前是每個人都要有一台好電腦。未來會不會變成每個人有自己的工作電腦，公司另外準備一台大家共用的 AI 電腦？

先決定要跑什麼模型，而不是先買顯示卡

談到地端 AI，很多人第一個想到的就是顯示卡，但應該先想清楚，公司究竟要讓 AI 做什麼。

因為模型大小、量化方式、Context 長度，以及同時有多少人提出請求，都會影響硬體需求。

同樣一張顯示卡，跑一個小模型和跑大型模型，使用體驗可能完全不同。以下用常見的模型參數級距，整理可能的使用情境。

模型級距	可能的應用情境	硬體考量
1B–8B	文件摘要、簡單問答、分類、文字整理	入門 GPU 或部分高記憶體平台即可嘗試
9B–14B	日常助理、一般知識問答、簡單程式碼協助	需要留意 VRAM 與 Context 配置
20B–32B	較複雜的推理、程式碼分析、長文件整理	建議配置較大的 VRAM，並評估量化方式
70B	複雜問答、較高品質的文字生成與分析	通常需要大容量 VRAM 或多 GPU 配置
100B 以上	大型模型研究、進階推論與特定企業應用	需要仔細評估模型切分、記憶體、頻寬與執行框架

這裡要特別說明，模型參數量不等於實際需要的顯示記憶體，如同一個 32B 模型，使用不同量化方式，記憶體需求就可能有明顯差異。另外，模型載入成功，也不代表就能提供多人順暢使用。

因為模型載入後，還需要考慮 Context、KV Cache、推論運算空間，以及其他請求所占用的記憶體。

以 OpenAI 的 GPT-OSS 為例，官方資料指出，採用 MXFP4 的 GPT-OSS 20B 約需要 16GB VRAM；GPT-OSS 120B 則至少需要約 60GB VRAM，或使用多 GPU 配置。

這些數字是模型執行的記憶體參考，不是企業多人共享的保證規格。實際需求還是要看 Context 長度、執行框架、量化方式與同時請求數。
參考資料：OpenAI GPT-OSS 執行環境說明

一台AI工作站可以讓多少人使用？

這可能是企業採購時最想知道的問題，假設一家公司有 20 位員工，是不是買一台 RTX 5090 工作站，就能讓 20 個人同時使用 AI？

這件事不能直接用使用者人數來計算。

因為「可以連線」和「可以同時順暢生成」是兩件不同的事。概念大概是….

名稱	意思
可連線人數	有多少人可以登入或連上 AI 服務
同時請求人數	有多少人同一時間送出問題
並行生成數	有多少個生成工作正在執行
排隊請求數	當運算資源不足時，有多少工作等待處理

想要一台AI工作站可以讓 20 個人連線，但不代表 20 個人同時要求 AI 寫長篇報告時，還能維持相同的速度。

有人只是問一句簡單問題，有人可能一次丟進幾十頁文件，甚至要求 AI 分析程式碼，這些請求的運算量並不相同。

如果使用 Ollama，也要留意並行請求和 Context 設定，當同時處理多個請求時，記憶體需求也會增加。Context 越長、並行數越高，通常需要預留更多記憶體。

因此，企業在規劃時，不能只看 GPU 的 VRAM 容量，還要測試實際使用情境，會建議從小規模開始測試：

先讓 3–5 人使用，觀察生成速度與記憶體占用。
再增加到 10 人，測試同時提問和長文件處理。
最後才測試 20 人或更多的使用情境。
記錄 GPU、VRAM、RAM、Context、等待時間和生成速度。

這樣才能知道這台AI工作站真正適合多少人使用，另外，多張 GPU 的 VRAM 也不會自動合併成一個大型記憶體池。

如果使用兩張 32GB GPU，不代表所有模型都能直接當成擁有 64GB VRAM 的單張顯示卡使用。還需要看模型是否支援切分、推論框架如何配置，以及 GPU 之間的資料傳輸能力。

所以，買幾張顯示卡不是唯一答案。

工作站的價格，可能比想像中更有差異

如果開始規劃企業內部AI工作站，預算就會變成另一個問題，查了一些台灣市場的公開產品資料，發現工作站和 AI Server 的價格差距其實不小。

以下不是單純用顯示卡價格推算整台電腦，而是將公開產品案例和可能的整機配置方向分開看。

預算級距	可能配置方向	GPU／VRAM 方向	適合的模型級距	使用定位
約 25–30 萬	品牌工作站或高階桌機，建議升級至 64–128GB RAM、2TB SSD，並確認供電與散熱	RTX 5090 32GB	8B–20B；部分 27B–32B 量化模型需實測	小型團隊、PoC、部門 AI 服務
約 40–50 萬以上	高階工作站平台，128GB RAM、2–4TB SSD；依顯存需求選擇 GPU	RTX 5090 32GB，或評估 48GB 顯存方案	20B–32B；部分 70B 量化模型需評估	部門共享、中大型模型推論
約 65–80 萬以上	工作站平台，128–256GB RAM，ECC 視平台選配，2–4TB 以上 SSD	RTX PRO 6000 Blackwell 96GB	70B 級模型；更大型模型需依量化與執行方式評估	大型模型推論、研發與進階應用
約 190–200 萬起	雙 GPU AI Server、Threadripper PRO 等級平台、256GB ECC RAM、4TB SSD、雙 10GbE、Rackmount	RTX PRO 6000 Blackwell 96GB × 2	大型模型多 GPU 部署、多模型服務與較高運算負載	多部門共用、企業級 AI 服務

這裡有幾個實際價格可以參考。

第一個是 RTX 5090 工作站。

目前台灣有品牌工作站搭載 Intel Core Ultra 9 285、RTX 5090 32GB、32GB DDR5 RAM、1TB NVMe SSD 和 1200W 電源，公開售價約 279,000 元。

這是一個完整整機的價格案例，不是單買顯示卡的價格。

不過，這台機器原本配置的 32GB 系統 RAM，如果要作為多人共享的 AI 工作站，我會建議另外評估升級到 64GB 或 128GB。尤其當使用長 Context、文件處理或多個同時請求時，系統記憶體也不能忽略。

參考產品：HP Z2 G1i RTX 5090 工作站

第二個是 RTX PRO 工作站級顯示卡。

如果不只是追求消費型顯示卡的效能，而是需要更大的 VRAM，就可能會開始接觸 NVIDIA RTX PRO 系列，台灣公開產品頁面中，可以看到以下顯示卡報價：

GPU	VRAM	公開參考價格
RTX PRO 2000 Blackwell	16GB	約 NT$92,500
RTX PRO 4500 Blackwell	32GB	約 NT$201,600
RTX PRO 5000 Blackwell	48GB	約 NT$347,550
RTX PRO 6000 Blackwell	96GB	約 NT$549,000

資料來源：

這裡要特別注意，以上是顯示卡的公開價格，不是整台工作站的價格，尤其 RTX PRO 5000 48GB 顯示卡本身就已經接近 35 萬元，不能把它當成 35–50 萬就能完成的整機配置。

如果要採用 48GB 或 96GB 顯存方案，還需要另外計算 CPU、主機板、RAM、電源、機箱、散熱和整機保固。

因此，40–50 萬以上與 65–80 萬以上的級距，應視為規劃預算方向，實際採購仍需要依配置詢價。

第三個是雙 GPU AI Server。

如果公司已經不是單純測試，而是希望讓多個部門共用大型模型，可能就會開始考慮 AI Server。

例如台灣 MAQ 公開的雙 RTX PRO 6000 Blackwell AI Server，採用：

AMD Threadripper PRO 9975WX 32 核心處理器
RTX PRO 6000 Blackwell 96GB × 2
256GB ECC RDIMM
4TB PCIe 5.0 SSD
雙 10GbE 網路
2500W／2800W 電源配置
5U Rackmount 機箱
BMC 遠端管理

公開價格約 195 萬元起，實際價格仍會隨配置和供貨狀況調整。

參考產品：MAQ 雙 GPU AI Server

從這些價格可以看出，企業部署地端 AI，並不是只有一種硬體選擇，有些公司只需要一台高階桌機，就能開始測試；有些公司需要更大的 VRAM；也有些企業需要集中管理、多 GPU 和機房級設備。

真正的差異在於使用規模和工作負載。

工作站和 AI Server，到底差在哪裡？

看到這裡，可能有人會問，既然工作站也能提供 AI 服務，為什麼還需要 AI Server？

其實兩者並不是完全不同的東西。

工作站也可以提供多人服務，AI Server 也可以執行一般推論工作，差別更多是在硬體設計、擴充性、管理方式和長時間運作的需求。

比較項目	AI工作站	AI Server
主要用途	個人或部門運算、AI PoC、內部共享	集中運算、多部門服務、長時間運作
機箱	Mid Tower、Full Tower	常見 4U、5U 等 Rackmount
GPU 配置	通常 1–2 張，視機箱與平台而定	可依平台擴充多張 GPU
記憶體	一般 DDR5 或工作站平台記憶體	常見 ECC RDIMM 等伺服器級配置
管理方式	桌面環境、遠端桌面或服務管理	可搭配 BMC 等遠端硬體管理
散熱	塔式風冷、水冷或工作站散熱方案	高風量設計，需考慮機櫃環境
網路	1GbE、2.5GbE、10GbE 視配置	常見 10GbE 或更高速網路
採購成本	相對容易從小規模開始	初期投入通常較高

我覺得中小企業和大型企業的選擇可能會不太一樣，中小企業不一定有獨立機房，也不一定有專人管理伺服器。

如果只是希望讓 PM、業務、工程師共用幾個地端模型，一台配置合適的工作站，可能就能開始，但如果企業已經有多個部門、不同模型服務、內部資料平台，甚至需要長時間運作和集中管理，那麼 AI Server 就比較值得評估。

這並不是說工作站比較差，而是使用情境不同。

機箱也會影響 AI 工作站的選擇

這部分我覺得也值得談。

一般人在選電腦時，可能比較在意 CPU、GPU、RAM 和 SSD，但如果一台電腦要長時間執行 AI 模型，甚至讓多個人共用，機箱就不只是外觀問題。

它會影響顯示卡能不能裝、散熱能不能做好、電源能不能負荷，以及整台機器的噪音。目前常見的方向，大致可以分成三種…

Mid Tower 中塔機箱

適合一般高階桌機或單張高階 GPU 工作站，體積相對容易接受，也比較適合放在辦公室或工作室。

但如果使用 RTX 5090 這類大型顯示卡，就必須確認顯示卡長度、厚度、電源接頭空間和散熱配置。

Full Tower 全塔機箱

如果要配置更大的主機板、多張 GPU、更多儲存裝置，Full Tower 會有比較大的彈性。不過，機箱空間變大不代表就能無限制安裝 GPU。

主機板插槽間距、PCIe 通道、顯示卡厚度、電源供應和散熱風道，都需要一起考慮，尤其多張高功耗 GPU 同時運作時，電源和散熱不能只看規格表上的數字。

Rackmount 機架式機箱

如果公司有機房或機櫃，Rackmount 就比較適合，常見的 4U、5U 機箱，可以依照設計容納多張 GPU 和較大型的伺服器平台。

但它也有一些代價。

機架式設備通常比較重，風扇噪音也可能比較明顯，而且需要考慮機櫃空間、電力、散熱和維護方式，如果只是放在一般辦公室，未必是最好的選擇。

所以我認為，AI 工作站不一定要追求最大機箱，而是要依照 GPU 數量、散熱需求和使用環境來決定。

如果公司不想買伺服器，工作站能不能先開始？

覺得是可以的…尤其是中小企業，沒有必要一開始就把 AI 部署想得太複雜，可以先從一台高階工作站開始，確認實際使用情況。像是…

先選擇一到兩個主要模型。
讓一個部門試用。
記錄每天的請求數量。
觀察同時使用時的生成速度。
確認哪些工作真的適合地端 AI。
再決定是否增加 GPU、記憶體或第二台工作站。

這樣做的好處，是公司可以先知道自己真正需要什麼，而不是一開始就買了一台昂貴的設備，最後卻只有少數人使用。

如果後續需求增加，也可以再考慮將工作站轉為專門的 AI 推論主機，或是升級成正式的伺服器環境。

不過，企業仍然需要考慮資料權限、使用者身分、網路隔離、備份、更新和服務監控。

地端 AI 不代表資料就一定安全。模型在內部運作，只是減少部分資料傳輸到外部服務的需求，並不能取代企業原本的資安管理。

這也是為什麼我認為，AI 工作站不只是買硬體而已，它其實是公司開始建立內部 AI 使用環境的一個入口。

那桌上型電腦市場會不會因此出現新的產品？

想想….以前桌上型電腦的市場，大多是依照使用者需求來區分。

一般文書機
電競電腦
設計工作站
工程工作站

但 AI 開始普及之後，桌機可能會出現另一種定位，它不只是拿來操作軟體，也可能是公司內部的 AI 運算設備，可能的方向分成三種。

產品方向	產品定位	可能的客群
AI Workstation	高效能 GPU 工作站，提供模型推論、開發和內部共享服務	研發部門、中小企業、AI 開發團隊
AI Desktop Appliance	預先整合硬體、模型和管理介面的 AI 桌上型設備	不想自行部署模型的企業、辦公室
Modular AI Desktop	可更換或擴充運算模組、GPU、記憶體與儲存設備	需要逐步擴充 AI 能力的企業和進階使用者

其中，我對 AI Desktop Appliance 特別有興趣，想像一下，如果未來有廠商推出一台桌上型 AI 設備，買回公司後，不需要自己研究模型部署，也不用從頭設定服務。

只要連上公司網路，就能透過瀏覽器使用，管理者可以選擇模型、設定部門權限、查看使用量，甚至依照工作需求切換不同模型。

這樣的產品可能不像傳統電腦，也不像大型伺服器，它更像是一台專門提供 AI 服務的設備。

當然，這只是我對產品方向的想像，現有工作站、迷你主機和伺服器都已經能承擔部分類似任務。未來是否會形成獨立產品類別ㄏ還要看企業需求、硬體成本和軟體整合程度。

這個方向值得觀察但我認為因為不是每家公司都有能力自己組建 AI 平台，也不是每個部門都需要一台高階 GPU 電腦。

如果有一台設備能把硬體、模型和使用介面整合起來，對不少企業來說，可能比單純購買一張高階顯示卡更有吸引力。