使用 Ollama 時無需擔心硬體問題

資訊科技數位 » recursos » 使用 Ollama 時無需擔心硬體問題

如果你打算在自己的電腦上運行人工智慧模型，遲早會遇到 Ollama。這時，一個關鍵問題就出現了：我需要什麼樣的硬體配置才能讓模型流暢運行，避免卡頓？僅僅能夠啟動是不夠的；關鍵在於它們能夠輕鬆應對日常任務，而了解不同類型的電腦硬體至關重要。

在本文中，我們將詳細介紹Llama 的功能、不同類型的模型（7B、13B、70B 等）的要求、CPU、GPU、RAM 和磁碟如何影響性能，以及根據您的具體情況，哪些配置是合理的，無論您是想要一個簡單的文本助手，還是打算運行像 Llama 3 這樣擁有數百億參數或視覺和 OCR 模型的龐然大物模型的龐然大物模型。

Ollama是什麼？為什麼硬體配置會帶來如此大的不同？

Ollama 本質上是語言模型用戶端，它允許你在本機上運行語言模型，而無需依賴雲端。它使用諸如llama.cpp之類的引擎進行推理，並將所有複雜性封裝在一個簡潔的工具中，提供命令列介面 (CLI) 和 REST API，同時也能幫助你理解模型背後的神經網路概念。

它的作用是作為“指揮中心”，您可以從中下載、管理和運行 Llama 3、Mistral、Gemma、Phi、Qwen、DeepSeek 等模型，或 Llava 等多模態模型。它的優勢在於您可以完全離線使用它們，將資料保留在本地，而無需像使用雲端 API 那樣為每個令牌付費。

雖然 Ollama 本身輕量級且對資源要求不高，但它運行的模型卻非常消耗資源。每個 LLM 都包含數百萬甚至數十億個參數，這意味著需要佔用數 GB 的記憶體和儲存空間，同時也會對 CPU 造成沉重的負擔，如果有 GPU 的話，也會對其造成很大的負擔。

這就是為什麼當有人嘗試在配備強大CPU、獨立顯卡和僅夠內存的系統上運行大型模型（例如，70B的羊駝模型）時，結果通常是“可以運行”，但速度慢到幾乎無法使用。關鍵在於合理平衡CPU、顯示卡、記憶體、硬碟和模型類型。

Ollama 中的模型類型及其對需求的影響

在 Ollama 庫中，您會看到按系列和尺寸組織的模型：1B、2B、4B、7B、13B、30B、65B、70B、405B…。該數字（B 代表十億）表示參數的大致數量，也是決定所需硬體的最重要因素之一。

我們可以將它們大致分為四類，這極大地幫助您估算需要什麼樣的機器才能輕鬆應對每組模型和量化指標：

• 迷你型（270M – 4B）：專為 適度的設備 （簡單的筆記型電腦，甚至一些手機或迷你電腦）。速度快，但推理能力較弱。
• 小型模型（4B – 14B）理想的 平衡的「國內」模式適用於一般聊天、辦公任務、簡單的程式碼協助等。
• 中型型號（14B – 70B）他們已經在不同的聯賽中比賽了； 他們需要強大的硬體。充足的內存，如果可能的話，最好配備大顯存的顯示卡。
• 大型模型（> 70B）它們是為…而設計的野獸 非常重要的基礎設施 （高階GPU、多張顯示卡、專用伺服器、充分利用的高階Mac電腦等）。

除了大小之外，量化也發揮了作用：在 Ollama 中，你會看到諸如q4_K_M、q5_1、q3_K_S、q8_0、f16等後綴。這些格式指示模型權重的壓縮程度。

• FP16 / FP32 (f16, f32)幾乎未壓縮， 品質一流，但記憶體佔用極高FP16 中的 7B 可能佔用超過 20 GB 的 VRAM。
• Q4（q4_0，q4_K_M…）4 位量化 尺寸大幅減小，對品質影響不大它們通常是“最佳平衡點”。
• Q3、Q2（q3_K_S、q2_K…）更激進的量化， 尺寸非常小，但精度略有下降。在硬體配置非常低的情況下也適用。
• Q5，Q6，Q8：介於強壓縮和 FP16 之間的中間步驟； 品質越高，消耗量越大.

實際結果顯而易見：同樣的 7B 型號顯示卡在 FP16 模式下大約佔用 26 GB 內存，而在 Q4 模式下大約佔用 4 GB 內存。這直接關係到所需的 GPU 顯存容量以及支援工作負載所需的記憶體容量。

Ollama 在本地網路上的最低和建議硬體需求

如果您擔心您的電腦是否能夠運行 Ollama，答案通常是肯定的；問題在於您能流暢運行哪個型號。讓我們按組件進行分析：記憶體、CPU、GPU 和硬碟，並根據實際經驗和幾份專業指南的文檔給出切實可行的建議。

記憶體：至關重要的資源

在討論本地LLM時， RAM是主要瓶頸。一般來說，我們可以考慮以下範圍：

• 8 GB的RAM：實際基礎。 它允許使用小型模型（1B、3B，以及一些高度量化的7B變體）。但是，你會發現一些限制，尤其是在系統和瀏覽器已經佔用大量記憶體的情況下。所有操作都可能變得有些緩慢，並且會出現更多卡頓。
• 16 GB的RAM：當今的合理標準。 非常適合 7B 甚至 13B 型號，以 Q4 進行量化。尤其是使用GPU的情況下。你可以處理複雜的聊天記錄，而不會導致系統運作緩慢。
• 32 GB或更多RAM如果您想要的話，推薦。 中型型號（30B、40B、70B） 或在 Ollama 上執行更繁重的任務，例如處理非常長的上下文、並行運行多個模型、多用戶伺服器或 Open WebUI 類型的圖形工具。

請注意，RAM 不僅供裝置本身使用：作業系統、瀏覽器、IDE、Docker、Open WebUI 和其他應用程式也會佔用記憶體。如果您想在特定情況下釋放內存，可以了解如何降低瀏覽器等應用程式的 RAM 使用量。對於高強度使用，目前建議的最低記憶體需求為 16 GB，而 32 GB 則綽綽有餘。

CPU：現代指令集與核心數量

Ollama 可以只使用 CPU 運行，但運行體驗會因處理器而異。比核心數量更重要的是對高階指令集（例如 AVX2，甚至更好的 AVX-512）的支持，這些指令集可以加速 LLM 中廣泛使用的矩陣和向量運算。

合理的指導原則是：

• 最低可接受標準一款支援 AVX2 指令集的現代四核心 CPU（例如，最新一代的 Intel i5 或同等效能的 Ryzen 處理器）。您將能夠… 耐心地運行 7B 模型，尤其是在模型量化良好的情況下。.
• Recomendado最新處理器類型 英特爾第11代或更新的處理器，或AMD Zen4架構處理器，帶 8 個核心或更多 並儘可能支援 AVX-512。這樣您就可以獲得 即使使用GPU，也能提高反應速度並減少瓶頸。.

如果您打算使用非常大的模型（例如，嘗試使用效能一般的 CPU 和 GPU 運行 70 億的 Llama 3 模型），CPU 將會不堪重負，您會注意到代幣產生時間非常長。在這種情況下，最明智的做法是選擇較小的型號或投資購買合適的 GPU。

GPU 與顯存：何時不可或缺？需要多少顯存？

GPU並非必需，但它能帶來天壤之別。一塊性能不錯的GPU，配備足夠的顯存，可以將原本卡頓的體驗提升到完全可用的程度，尤其是在處理7億到13億量化模型時。

作為非常有用的參考，對於量化模型（約 Q4），可以估算出類似這樣的值：

• 7B → 約 4 GB 記憶體
• 13B → 約 8 GB 記憶體
• 30B → 約 16 GB 記憶體
• 65-70B → 約 32 GB 記憶體

這些數值為近似值，但清楚地表明，配備 8GB 顯存的 RTX 2060 SUPER 顯示卡處理 70 億次運算綽綽有餘，處理 7 億次運算也完全沒問題，但即使搭配 i9 處理器和 64GB 內存，處理 13 億次運算也力不從心。在這種情況下，系統將被迫在記憶體和 CPU 之間分配大量負載，導致延遲飆升。

實際上：

• 同 4-6 GB 顯存：重點關注 量化良好的7B模型它們非常適合聊天、寫作和一般任務。
• 同 8-12 GB 顯存你可以很輕鬆地與他/她一起工作 7B和13B 如果你願意慢一點，甚至可以達到 30B 的水平。
• 同 20-24 GB 顯存你現在進入了…的領域 30B-40B 的模特，頗具尊嚴以及一些高度量化的 70B，尤其是在配備良好記憶體的情況下。
• 同 32 GB 或更大 VRAM：是當 70B 確實開始顯得合理了。 可用於互動體驗，但需團隊其他成員陪同。

對於 OCR 模型或其他專用模型（例如視覺模型），配備 20-24 GB 顯存的 GPU 是流暢運行的堅實基礎，尤其是在模型涉及數百億個參數的情況下。對於參數量較小的（2B-7B）OCR 或視覺模型，8-12 GB 顯存就完全足夠了。

磁碟儲存空間：這些模型佔用多少空間？

至於磁碟空間，Ollama 應用程式本身佔用空間很小；真正佔用空間的是模型。在基本或測試環境中，大約50 GB就足夠了，但如果您開始收集模型，空間就會迅速增加。

作為量化模型的粗略指南：

• 小模型 （1B-4B）→ 周圍 GB 2 按模型。
• 中型模型 （7B-13B）→正常 4 8 GB 根據量化模型。
• 大型模型 （30B-70B）→ 容易 16 40 GB 每一個
• 超大型模型（> 100B） → 可以超過 GB 200 以型號計算，在某些極端情況下甚至會超過TB級。

理想情況下，應使用高速固態硬碟（最好是 NVMe 硬碟）來加快初始模型載入速度。此外，Ollama 允許您使用OLLAMA_MODELS環境變數來變更模型儲存位置，以便您可以使用大容量的輔助硬碟，從而釋放主硬碟上的空間。有關儲存容量和硬碟類型的更多信息，請參閱儲存硬體指南。

使用 Ollama 運行特定模型的具體要求

儘管每個模型都有其細微差別，但就目前的 Ollama 生態系統而言，可以針對典型的使用類別給出一些明確的指導原則：一般聊天、編碼、視覺/OCR 模型和巨型 70B 型模型。

通用聊天模板（Llama、Mistral、Gemma、Qwen…）

對於像 Llama 3.x 7B/8B、Mistral 7B、Gemma 2B/7B 或 Qwen 這樣的中型機型，典型的「本地 ChatGPT」使用場景，如今合理的設定大概是這樣的：

• 最低推薦:
  • 支援AVX2指令集的現代四核心CPU。
  • 16 GB的RAM.
  • 沒有獨立顯示卡或只有4-6GB顯存的入門獨立顯示卡。
  • 系統至少需要 50GB 固態硬碟，外加一到兩個機型。
• 最佳配置，可為 7B-13B 提供充足的頭部空間:
  • 8 核心或以上的 CPU（現代 i7/i9 或 Ryzen 7/9）。
  • 32 GB的RAM 如果你想保持很多事情的開放性。
  • GPU 8-12 GB 顯存 （RTX 3060/3070 或同等顯示卡，AMD RX 6700 或更高版本，或配備充分利用的 M1/M2/M3 處理器的 Mac）。
  • 如果你打算收藏模型，那就需要1TB的固態硬碟。

在這些場景中，採用 Q4_K_M 或 Q5_K_M 量化的 7B 模型表現非常出色，能夠為個人使用、技術文件、學習任務或寫作支援提供足夠的品質。

編碼模型（DeepSeek、CodeLlama、程式碼導向的Phi）

專門用於程式設計的模型通常與相同大小的通用聊天模型有類似的需求，但如果您打算將它們與大型 IDE 和許多開啟的專案一起使用，建議在 RAM 和 VRAM 中預留更多餘裕。

例如，在合適的條件下，使用像 DeepSeek-Coder（7B-8B）或規模相似的 CodeLlama 這樣的工具，一個非常合理的組合是：

• 中央處理器 現代6-8核心處理器。
• 32 GB的RAM 如果您同時使用多個工具（IDE、標籤式瀏覽器、Docker 等）。
• 至少配備 8 GB 記憶體的 GPU 使模型平穩移動。

它也能在效能較低的硬體上運行，但產生長程式碼區塊或執行複雜分析時，你會注意到反應速度較慢。對於像Phi-4 Mini 這樣的緊湊型型號，其要求要低得多，即使在配備 16 GB 內存和輕量級 GPU 的系統上也能運作良好。

視覺與OCR模型（關鍵、OCR模型、多模態）

具備影像處理能力（視覺/OCR）的模型，例如Llama或 Llama 3.x 的多模態版本，以及特定的 OCR 模型，進一步增加了複雜性。在硬體層面，它們對硬體的要求與同等規模的文字模型相近，但利用 GPU 的優勢更為顯著。

如果我們正在討論的是一款中等尺寸的OCR型號（例如7B-13B範圍），並且您希望在本地方便地使用它進行文件識別、掃描圖像等，那麼考慮以下方案是合理的：

• 配備 20-24 GB 記憶體的 GPU 無論是模型真的很大，還是你想把幾乎所有的處理都留在顯示卡上。
• 配備 8-12 GB 記憶體的 GPU 如果你選擇較輕量級且量化良好的變體，只要你不過度使用圖像大小或巨大的上下文，它就會繼續很好地工作。
• 至少16 GB RAM雖然 32 GB 的容量對於高強度使用來說已經非常充足了。
• 使用現代 CPU，這樣在 GPU 負載較高時就不會出現瓶頸。

對於「我能否在擁有 20-24 GB 顯存的 GPU 上運行 OCR 模型？」這個常見問題，直接答案是肯定的，對於 Ollama 中的中大型視覺/OCR 模型來說，這是一個非常好的範圍，前提是您還有足夠的內存和不錯的 CPU。

巨型模型（Llama 3:70B 及類似型號）

試著在配備高效能 CPU（例如第 11 代 i9）和64GB 內存，但 GPU 僅為 8GB RTX 2060 SUPER 的Windows 系統上運行70KB 的 Llama 3模型，就是一個典型的「可以，但不行」的例子。模型最終可能會加載，但是：

• 模型的一部分無法裝入顯存，因此嚴重依賴記憶體。
• CPU需要承擔大量的推理工作。
• 每個代幣所需的時間急劇增加，體驗幾乎變得無法使用。.

要讓70B型筆記型電腦在家庭或半專業環境中發揮作用，至少需要具備以下條件：

• 標配 32GB 內存，如果需要更多空間，可以選擇 64GB 內存。.
• 顯示卡至少需要 24-32 GB 記憶體 以合理的量化（Q4_K_M 或類似）加載大部分模型。
• 效能強大的高階CPU，擁有8-16個核心。

如果達不到這些數字，使用量化良好的 70 億至 7 億模型會更加實用；或者，如果真的需要 13 億才能保證質量，可以考慮使用專用伺服器（本地或雲端）、功能強大的 Mac 或多個並行工作的 GPU。

在 VPS 或伺服器上安裝 Ollama 的要求

另一個常見的選擇是將 Ollama 安裝在VPS 或獨立伺服器上，並透過 API 或 Web 介面（例如，使用 Open WebUI）存取它。這不僅涉及資源，還涉及作業系統和權限。

Hostinger 等服務商提供的指南中建議，針對 Ollama 平台的 VPS應符合以下最低要求：

• 記憶體：至少 16 GB 以免中小型號產品造成系統過大壓力。
• CPU：4-8 個虛擬核心取決於模型的大小和並髮使用者數。
• 儲存空間：至少 12 GB然而，在實際應用中，如果您打算嘗試多個型號，建議選擇更高的容量（50-100 GB）。
• Sistema的operativo：最重要的是 Linux，優先考慮 Ubuntu 22.04 或更高版本，或較新的穩定版 Debian.
• Root權限或sudo權限 為了安裝依賴項、配置 systemd 等。

如果您的 VPS 包含 NVIDIA GPU，則需要安裝並設定 CUDA；如果您使用 Docker，則需要安裝並設定 NVIDIA 容器工具包。對於 AMD GPU，通常在 Linux 系統上使用 ROCm，在 Windows 系統上使用對應的 Adrenalin 驅動程式。在沒有 GPU 的環境中，伺服器將依賴 CPU 和內存，因此請勿節省這些資源；如果您需要圖形介面，也可以透過遠端桌面進行遠端管理。

具體硬體場景及應使用的型號

為了確保以上所有內容不只是停留在理論層面，使用 Ollama查看一些典型的硬體組合以及每種情況下適合的模型類型可能會有所幫助。

普通桌上型電腦或中型筆記型電腦

讓我們設想一個典型的團隊：

• 幾年前的 i5 或 Ryzen 5 CPU（4-6 核心）。
• 16 GB的RAM.
• 整合或獨立4GB GPU。
• 512GB 固態硬碟。

在這種情況下，明智的做法是爭取：

• 量化的 1B-3B 模型 （Gemma 2B、Phi-4 Mini、Llama 3.x 1B）可達到最大流動性。
• 第四季推出7B型車型 如果您能接受稍長的回覆時間。
• 使用 Ollama 時，請配合終端機；如果需要 Web 介面，請謹慎開啟 WebUI，以免 RAM 過載。

你可以使用本地文字助手，產生摘要，進行一些分析和輕量級的程式設計任務，但對於 13B 及以上型號的機型來說，它並不是理想的環境。

專注於本地人工智慧的中高階設備

這裡我們討論的是PC類型：

• 現代 i7/i9 或 Ryzen 7/9 CPU，8-16 核心。
• 32 GB的RAM.
• 配備 12-24 GB 記憶體的 GPU （RTX 4070/4080、3090、4090、AMD 同等或類似產品）。
• 1-2 TB SSD。

這種配置極大地擴展了可能性範圍：

• 模型 第四季/第五季 7B-13B 用於聊天、程式碼編寫、數據分析…回應速度非常快。
• 30B 型號 還有一些 70B 量化 如果你能接受稍高的延遲的話。
• 的型號 視覺/OCR 中型主機大量使用GPU。

這是一種可以讓你建立一個嚴肅的本地 AI 環境的機器，它擁有多個模型、一個 Web 介面、透過 REST API 進行整合以及一個專業的工作流程，而無需依賴外部服務。

「野獸」伺服器或工作站

最高端的環境具備以下特質：

• 多張顯示卡，每塊顯示卡配備 24-48 GB 記憶體；或一張高階顯示卡。
• 64-128 GB RAM.
• 多核心處理器，例如最新的 Threadripper 或 Xeon 型號。

正是在這種情況下，即使存在多個並髮用戶或複雜的集成，巨型模型（>70億、MoE、視覺密集型等）也開始變得現實。這顯然是一個高成本的方案，但它也使您能夠在自己的基礎設施內完全掌控數據，並擁有類似於某些商業API的功能。

充分利用 Ollama 硬體的實用技巧

除了購買更多記憶體或更好的顯示卡之外，還有一些方法可以幫助您充分利用現有資源，並在使用Ollama 運行大型模型時避免意外情況。

首先，根據預期用途選擇合適的型號至關重要：如果一台配置良好的 7B 就能完全勝任撰寫簡單郵件的任務，那麼使用 70B 就毫無意義。同樣，如果你的顯示卡只有 6GB 顯存，那麼 30B 也不合適；到第四季度，7B 將是更好的選擇。

另一個關鍵措施是嘗試調整執行時間參數（例如溫度、num_ctx、num_predict 等），可以在模型檔案中進行調整，也可以透過 CLI/API 進行調整。在 RAM 或 VRAM 不足的情況下使用過大的上下文（num_ctx 達到 32k 或更高）會降低整個系統的速度，而且在許多情況下並沒有帶來太多好處。

也建議 監控哪些模型已載入以及它們載入在哪個處理器上 運用 ollama ps在那裡你可以看到模型實際運行在 GPU 還是 CPU 上，以及它載入了多大的資料量。調整變數 OLLAMA_KEEP_ALIVE 它可以幫助模型在不使用時釋放內存，從而釋放資源。

最後，請記住量化是你的朋友：創建原始 FP16 模型的 Q4_K_M 或 Q5_K_M 變體，可以讓你利用更適中的硬件，而質量損失在實際使用中通常幾乎無法察覺。

綜上所述，最明確的結論是：Ollama 本身並非最耗費資源的部分，真正的問題在於模型。了解模型大小、量化、記憶體和顯存之間的關係，可以幫助您根據自身需求選擇合適的硬體和 LLM 組合：從配備 16GB 記憶體運行輕量級 7B 的筆記型電腦，到配備 24GB 顯存處理複雜視覺和 OCR 模型的工作站，應有盡有。透過仔細調整預期和參數，完全可以在自己的電腦上運行功能強大的私人 AI，而無需支付月費。