Edge AI 與 Cloud AI 進入公司與工廠時？

When Edge AI and Cloud AI Enter the Workplace and Factory

內容目錄

在工廠機台旁放一台 AI Box，在辦公室放一台高階 AI 工作站，員工使用自己的電腦連線，遠端再搭配 Cloud AI。這幾種設備放在一起，可能就是企業導入 AI 時會出現的不同配置。

企業導入 AI，經常會看到地端 AI、Edge AI、Cloud AI 等名詞。看起來都是 AI 運算，但實際放置的位置、處理的工作，以及需要的硬體都不太一樣。

有些 AI 必須靠近機台，才能即時判斷產品有沒有瑕疵；有些 AI 適合放在公司內部，讓不同部門共用模型；有些運算需求比較大，則可以交給雲端服務。

企業導入 AI，不一定是把所有運算集中到同一個地方，而是讓不同的 AI 設備出現在適合的位置。

AI 放在工廠，為什麼需要靠近設備？

先從工廠開始。

生產線上的攝影機、感測器、機台控制器，每天都會產生大量資料。這些資料有些需要立即處理，不能等到傳送到遠端雲端，再等分析結果回來。

像是產品外觀檢測，攝影機拍下產品影像後，AI 視覺模型需要判斷表面是否有刮傷、缺件、組裝錯誤或其他異常。

如果每張影像都先傳到遠端雲端，除了增加網路傳輸量，也會受到網路延遲與連線狀況影響。

這時候，Edge AI 就有它的位置。

Edge AI 的概念，是把運算能力放在接近資料來源的地方。工廠可以在機台、攝影機或產線旁配置一台小型 AI Box，直接處理現場資料。整個流程大致是……

攝影機拍攝產品或設備狀態。
感測器收集溫度、震動、壓力等資料。
AI Box 在現場執行辨識與分析。
將判斷結果傳給產線系統或操作人員。
必要時再把摘要、異常紀錄與統計資料傳到上層系統。

工廠端的 AI 不一定需要大型語言模型。外觀瑕疵檢測通常使用專門的影像辨識模型，設備異常分析則可能使用時間序列或異常偵測模型。

不同任務不需要硬塞進同一個 LLM。

工廠旁的 AI Box，會是什麼設備？

Edge AI Box 不一定是一般桌上型電腦縮小版。

它可能是嵌入式運算平台、工業電腦，或具備 GPU 加速能力的工業級設備。產品需要考慮現場環境、長時間運作、電源、散熱、震動、灰塵與維護方式。

目前 NVIDIA Jetson Orin Nano Super 開發套件，就是可以觀察的一種邊緣 AI 平台。

項目	Jetson Orin Nano Super
AI 運算效能	最高 67 INT8 TOPS
GPU	1,024 CUDA 核心、32 Tensor 核心
記憶體	8GB LPDDR5
記憶體頻寬	102GB/s
功耗	7W–25W
儲存	SD 卡與外接 NVMe

這類設備的優勢不在於取代高階桌機，而是體積、功耗與部署位置比較適合靠近設備。

不過，開發套件與正式量產設備仍然不同。真正進入工廠時，還要考慮機構、I/O、散熱、長期供貨、軟體維護與工業環境適應能力。

工業級平台也有不同定位。NVIDIA IGX 系列就偏向工業與醫療等對可靠性、安全性和長期支援有要求的環境。

所以工廠端的 AI Box，並不是只要有 GPU 就能使用。設備本身也必須符合現場條件。

辦公室也需要 Edge AI 嗎？

工廠的 AI Box 解決的是現場即時運算。

但企業還有另一種需求……業務需要整理客戶資料，財務需要處理內部文件，PM 需要比較產品規格，採購需要分析供應商資訊，管理部門也可能需要查詢公司內部資料。

這些工作不一定需要把 AI 放在每一台員工電腦裡。

如果公司希望內部資料盡量留在自己的環境，也不想讓每個部門都依賴外部雲端 AI 或雲端文件服務，可以考慮另一種配置。

在辦公室放置一台高階 AI 工作站。

這台設備可以採用高階 DIY 桌上型電腦的形式，配置高階 GPU、大容量記憶體、足夠的儲存空間與良好的散熱設計。

工作站負責執行模型，員工自己的電腦則透過公司區域網路連線使用。

設備	主要工作
辦公室 AI 工作站	載入模型、執行 AI 推論、處理使用者請求
業務電腦	透過瀏覽器使用 AI，整理客戶資料
財務電腦	使用內部 AI 協助文件整理與資料分析
PM 電腦	使用 AI 協助規格比較、會議整理與產品研究
行政電腦	使用 AI 協助日常文件與資訊整理

員工的電腦不需要每台都安裝高階 GPU。

自己的電腦負責操作，AI 工作站負責運算。只要內部網路、服務介面與權限管理設計妥當，就能讓不同部門共用同一套 AI 運算資源。

這種方式與工廠旁的 AI Box 不太一樣。

工廠 AI Box 靠近設備，處理現場即時資料；辦公室 AI 工作站則集中提供模型服務，讓不同使用者透過內網使用。

兩者都可以是地端 AI 的一部分，但用途與硬體規格不同。

一台高階 AI 工作站，可以讓多少人使用？

這應該是企業真正會關心的問題。

如果辦公室有十幾位員工，是否只要買一台高階 GPU 電腦，就能讓大家一起使用 AI？

要看工作負載。
能夠連線，不代表所有人同時送出請求時都能維持相同速度。

有人只問一句簡單問題，有人一次上傳大量文件，有人要求整理長篇報告，這些任務消耗的運算資源差異很大。

影響因素	對使用體驗的影響
GPU VRAM	影響模型能否載入，以及可用的運算空間
系統 RAM	支援模型執行環境、資料處理與其他服務
模型大小	影響記憶體需求與推論負載
Context 長度	影響一次能處理的上下文與記憶體使用
同時請求數	影響 GPU 資源分配與等待時間
網路頻寬	影響員工與工作站之間的資料傳輸

以模型來看，1B–8B、9B–14B、20B–32B、70B 等不同級距，對硬體的要求也會有差異。

模型採用 4-bit、8-bit 或 FP16 量化，記憶體需求也會不同。即使模型可以成功載入，仍然需要預留 KV Cache、執行環境與多個請求所需的空間。

所以不能只看 GPU 上的 VRAM 數字，就直接推算可以服務幾個人。

比較合理的方式，是先讓一個部門試用，觀察平常的請求量、同時使用情況、生成速度與等待時間，再逐步增加使用者。

這也代表 AI 工作站的產品規劃，除了 GPU 規格，還要考慮模型服務、帳號權限、使用紀錄、排隊機制與資料存取控制。

Cloud AI 又適合放在哪裡？

Edge AI 與辦公室地端工作站，並不代表企業就不需要 Cloud AI。

雲端 AI 的優勢是可以使用遠端的大型運算資源，不需要企業自己購買與維護所有 GPU 設備。

當工作負載突然增加、需要使用大型模型，或進行大量資料分析與模型訓練時，雲端服務就有它的價值。

比較項目	工廠 Edge AI	辦公室 AI 工作站	Cloud AI
運算位置	機台或產線附近	公司辦公室內	遠端雲端平台
主要用途	即時辨識、設備監控	內部文件、模型推論、部門共用	大型模型、彈性運算、訓練
網路依賴	可在本地完成部分工作	依賴公司內部網路	需要連接外部服務
硬體形式	AI Box、工業電腦	高階 GPU 桌上型電腦	雲端 GPU 資源
擴充方式	增加或升級現場設備	升級 GPU、記憶體或增加工作站	依服務方案調整資源
維護方式	現場設備維護	公司內部維護	雲端服務商管理基礎設施

Cloud AI 也不是所有資料都一定會外流，實際情況仍要看服務商的資料政策、企業方案、資料處理設定與合約條件。

同樣地，地端 AI 也不代表絕對安全。

資料留在公司內部，只是減少部分資料傳送到外部服務的需求。內部仍然需要帳號驗證、權限控管、網路隔離、備份與系統更新。

如果員工可以任意存取所有部門資料，即使模型完全在地端執行，仍然可能發生資料管理問題。

公司與工廠，可能不需要只有一種 AI 架構

把前面的情境放在一起，就會發現不同設備其實可以分工。

工廠現場需要即時反應，AI Box 靠近機台處理影像與感測器資料。

辦公室需要內部知識與文件協作，高階 AI 工作站透過區域網路提供模型服務。

遇到大型運算或特殊需求，再使用 Cloud AI。

使用場景	適合的 AI 配置	運算重點
生產線外觀檢測	工業級 Edge AI Box	即時影像辨識
設備狀態監控	Edge AI Box 或工業電腦	感測器資料分析
公司內部文件問答	高階 AI 工作站	地端 LLM 推論
部門共用 AI 助理	高階 AI 工作站	多人請求與權限管理
大型模型訓練	Cloud AI 或大型運算平台	大量 GPU 資源
跨廠區資料分析	地端與 Cloud AI 混合	多地資料彙整