- 對樹莓派 4 和強大的 Model 5 的硬體效能進行分析。
- 探索使用 AI HAT+ 2 等外部加速器來優化生成式推理。
- 比較使用本地量化模型和支援外部 API 基礎架構。
- 使用 Ollama、llama.cpp 和 Python 環境等工具的實作方法。
如果你夢想過在家中運行一個類似 JARVIS 的智慧助手，無需依賴雲端，並且完全保護隱私，那麼你可能想知道像 Raspberry Pi 這樣的小型開發板是否能夠勝任。簡而言之，答案是肯定的，但實際體驗會因為你使用基礎硬體還是選擇使用專用加速器來增強效能而大相徑庭。
在邊緣運算上執行大型語言模型 (LLM)可以直接在裝置上處理。這不僅可以省去每月雲端服務費用，還能確保您的資料保留在家中——對於那些重視家庭網路和物聯網安全，並希望在不受外部限制的情況下嘗試人工智慧的用戶來說，這一點至關重要。
硬體與功能：從樹莓派 4 到樹莓派 5
首先，必須先明白並非所有開發板的性能都相同。在樹莓派 4 上，雖然可以運行一些輕量級模型，但性能有限。使用Ollama等工具，你可以載入像tinydolphin這樣的模型，從而透過終端機進行聊天。雖然初始啟動過程可能需要幾分鐘，而且機器在響應前可能需要一些時間“思考”，但一旦開始輸入，它的速度對於簡單的任務來說是可以接受的。
升級到 Raspberry Pi 5 後，由於其更強大的 ARM 架構，情況有所改善。此時，RAM 成為關鍵因素；強烈建議使用8GB RAM版本。為了優化空間，可以使用量化技術（例如 int4 或 4 位元），這可以減少模型的大小，使其能夠在不犧牲太多精度的情況下裝入記憶體。
對於要求最苛刻的用戶而言，Raspberry Pi AI HAT+ 2現已問世。這款擴充板堪稱顛覆之作，它整合了Hailo-10H加速器。先前的 HAT 專注於電腦視覺（目標偵測或場景分割），而新款則專為彌合生成式 AI 的差距而設計，提供40 TOPS 的推理性能和 8 GB 專用於加速器的 RAM。
技術實施與軟體
如果你決定在樹莓派 5 上採用純軟體開發方案， 調用.cpp 它是標準工具。透過 Python 綁定，可以載入 GGUF 格式的模型（例如 Orca-Mini-3B）。工作流程包括建立虛擬環境和安裝。 llama-cpp-python 並配置一個腳本來管理處理器執行緒和使用者提示。為了監控主機板是否崩潰，使用以下方法非常有用： 教授這樣就可以分析執行期間消耗的峰值 RAM 記憶體。
對於購買 AI HAT+ 2 的用戶而言，架構將更加穩健。理想的做法是安裝Hailo 核心驅動程式及其對應的執行環境。為了方便起見，建議將hailo-ollama配置為系統服務 (systemd)，使其在開發板上電時自動啟動，並在 8000 連接埠上提供與 Ollama 相容的 API。
為了避免總是需要處理命令列，您可以安裝 打開網頁介面這個網頁介面可以將樹莓派變成一個專業的聊天伺服器，可以透過本地網路上的任何瀏覽器存取。配置 OLLAMA_BASE_URL 沒錯，我們擁有一個流暢的接口，可以與 Hailo 硬體進行通信，從而可以使用諸如以下的模型： Qwen2 或 Qwen2.5-Coder 用於本地程式設計和翻譯任務。
推薦模型和優化
務必保持務實：一個運行在樹莓派上、擁有 1 億到 7 億參數的模型，在通用知識方面無法與擁有數十億參數的 GPT-4 或 Claude 相媲美。然而，如果經過精細調優，小型模型也能表現出色。 AI HAT+ 2 支援LoRA（低秩自適應），這意味著您可以針對特定任務自訂模型，而無需重新訓練整個系統。
- TinyDolphin： 由於其功耗極低，因此非常適合樹莓派 4 使用。
- Orca-Mini-3B： 使用 llama.cpp 為 Pi 5 實現穩定的平衡。
- Qwen2 / Qwen2.5： 針對 Hailo-10H 生態系統進行了最佳化，非常適合程式碼編寫和聊天。
- 視覺語言模型（VLM）： 能夠即時描述樹莓派攝影機拍攝的影像。
如果本地效能不足以滿足生產應用的需求，可以採用混合方案。您可以進行本機開發，但將推理委託給外部 API，例如 SiliconFlow。這樣，您可以將邏輯保留在 Raspberry Pi 上，並透過雲端獲得即時回應，且每百萬代令牌的成本極低，從而防止裝置過熱或運行緩慢。
在邊緣部署 AI 節點需要耐心，尤其是在像 Ubuntu Server 這樣的發行版上，核心依賴問題更為突出。使用官方的 Raspberry Pi 軟體倉庫通常比從頭開始編譯所有軟體包更穩定。雖然目前的生態系統仍略顯不成熟，GenAI 軟體包版本與官方文件也存在一些差異，但最終呈現的是一個安靜、私密且高度靈活的系統，可以將開發板變成一個獨立的智慧家庭大腦。
