本地人工智慧與自動化：代理、安全及實際案例

資訊科技數位 » recursos » 本地人工智慧與自動化：代理、安全及實際案例

La 利用本地人工智慧自動化 它不再僅限於擁有家用伺服器的技術愛好者，而是成為任何想要更多控制權、隱私和靈活性的人的真正選擇。如今，你不再完全依賴大型公司的雲端服務，就能擁有能夠讀取你的螢幕、移動你的滑鼠、處理你的檔案或在後台運行複雜工作流程的代理程式。

情況已徹底失控：從 像是NVIDIA的NemoClaw這樣的全端解決方案 從運行在您自己的硬體上的自主代理，到像 PocketBot 這樣將自然語言轉換為手機自動化的行動應用程序，再到像 OpenClaw 這樣的開放平台、像 Jan AI 這樣的助手，以及使用 Ollama 和 Open WebUI 設定您自己的「自製ChatGPT」的實用指南，目標都是一樣的：建立一個人工智慧存在於您的電腦上、與您的程式互動並自動執行您的日常任務的生態系統，而無需將您的資料從您的系統中移除。

什麼是本地AI自動化？它為什麼重要？

當我們談論 用於自動化的本地人工智慧我們指的是運行在您自己的裝置（PC、伺服器、DGX、行動裝置）上的模型和代理，它們不會將敏感資料傳送到外部伺服器。模型可以做出決策、執行程式碼、讀取檔案、呼叫 API 並協調工具，但所有操作都在您可控的環境中進行。

這個演變過程是巨大的：從最初只能回答問題的簡單聊天機器人，我們已經發展到… 能夠執行任務鏈的人工智慧代理協調多個步驟、參考不同資料來源並做出自主決策。這徹底改變了我們對自動化的理解：模型不再只是“回答問題的人”，而是“行動的人”。

這項改變會帶來一個顯而易見的後果： 更大的自主權意味著更大的風險如果您授予代理程式存取檔案系統、您的憑證、瀏覽器或開發工具的權限，則需要強大的安全性設計。本地化方案在這方面優勢顯著，因為您可以限制權限、隔離進程，並隨時密切監控模型的運作狀態。

此外， 採用 Apache-2.0 或 MIT 等免費授權的開放模式。 （與 Falcon、Bark、Jan 等眾多解決方案類似）它們允許您建立解決方案，而無需受制於合約或不透明的使用政策。您可以審核程式碼、調整模型、進行微調，甚至將其與特定硬體（例如 A100 GPU 或 NVIDIA DGX 工作站）整合。

對於許多行業（醫療保健、銀行、法律、公共管理）而言， 隱私和安全存儲 它是神聖的，是…的組合 本地人工智慧 + 自主代理 + 開放模型 它確實帶來了改變：你實現了自動化，但資料卻不會離開你的邊界。

用於進階自動化的本機 AI 堆疊：NemoClaw、OpenShell 和 OpenClaw

NVIDIA 已強勢進軍這場競賽。 NemoClaw這是一個開源技術棧，旨在安全地在本地部署自主代理，並確保它們始終在線。它專為 NVIDIA DGX Spark 等高性能機器而設計，但其理念也適用於其他經過認證的環境。

NemoClaw 扮演 樂隊領：安裝並協調 OpenShell（安全運行時）和 OpenClaw（多通道代理框架），配置模型推理（透過 Ollama 或 NVIDIA NIM），並從一開始就應用安全性策略，而不是作為最後一刻的修補程式。

堆疊的核心通常是 NVIDIA Nemotron 3 Super 120B這是一個擁有 120.000 億個參數、專為智能體優化的模型：它非常擅長執行複雜指令、操作工具和進行多步驟推理。然而，運行如此龐大的模型需要強大的 GPU 和大量的記憶體；光是模型本身就需要大約 87 GB 的記憶體。

推理通常與 Ollama 作為本地運行時它在機器本身上公開了一個 REST API。 NemoClaw 透過與此 API 通訊來傳送提示、接收回應，並使用工具呼叫模式協調工具呼叫。

組件 OpenShell 在安全性方面至關重要。它強制執行沙箱機制，控制憑證，充當網路代理，並應用最小權限原則。它會監控代理程式嘗試建立的連接，並允許您透過類似 TUI 的介面批准或阻止端點。這樣，如果模型嘗試存取新服務，未經您的批准，任何操作都無法進行。

沙盒世界裡的生活 OpenClaw，多通道代理層它負責與 Telegram、Slack 和 Discord 等平台進行通信，管理代理的內存，連接各種工具（腳本、API、瀏覽器），並長期維護對話。如果您想要一個始終在線、可透過訊息存取且擁有持久記憶體的助手，那麼這個元件就能滿足您的需求。

安全性、沙箱和本地部署逐步指南

這堆疊的一大優勢在於： 從設計階段就考慮安全性。並非後期添加。代理專案中常見的錯誤是先建立所有功能，然後試圖「保護」已建置的功能，結果到處都是漏洞。

中心機制是 執行沙箱代理程式想要執行的所有程式碼都在隔離的環境中運作：它無法直接存取主機的檔案系統，不能進行任意網路調用，也不能將權限提升到配置中定義的範圍之外。

這大大減輕了……的影響。 提示注入攻擊 或者惡意指令。如果模型執行異常操作，損害將僅限於沙箱內部。即便如此，NVIDIA 也承認沒有完美的沙箱，因此他們建議始終在隔離的系統上測試新工具。

此外，NemoClaw 還實現了 對工具和策略進行即時精細控制預設情況下，代理程式只能與有限數量的網路端點通訊。當它嘗試執行新操作時，OpenShell 會阻止該操作，您可以清楚地看到它正在嘗試執行的操作（主機、連接埠、進程）。然後，您可以允許該操作在目前會話中執行，或在主機上新增永久策略。

DGX Spark 的部署流程通常遵循以下步驟：配置 Ubuntu 24.04 LTS，配備 NVIDIA 驅動程式 隨後 電腦組裝指南安裝 Docker 28.xo 或更高版本（帶 GPU 運行時），安裝 Ollama 並下載 Nemotron 3 Super 120B 模型，最後使用一條命令啟動 NemoClaw 安裝程序，該命令會觸發配置精靈。

本入門指南將引導您完成以下步驟 沙箱名稱、推理提供程序、所選模型、安全預設 此外，如果需要，還可以整合 Telegram。設定過程預計需要 20-30 分鐘，下載模板還需要 15-30 分鐘，具體時間取決於網路頻寬。

就效能而言，我們必須實事求是：一個包含 120 億參數的模型的反應時間可能介於…之間 30秒和90秒 在本地環境下，這本身並不是問題，但在設計使用流程和分配給代理的任務類型時，需要考慮這一點。

遠端存取、Web介面和專為本地人工智慧設計的硬體

一切設定完畢後，您可以透過多種方式與代理商互動。最常見的方式是： 透過 Telegram使用 @BotFather 創建的機器人是一個實用的選擇：強大的 API、加密、適用於各種設備的應用程序，而且無需將伺服器連接埠暴露給外界。

機器人接收你的訊息，將其轉發給DGX上的代理，然後回覆你。有趣的是，儘管對話是透過Telegram的基礎架構進行的， 推斷和對敏感資料的存取仍然100%本地化。 在你的機器上。

此外，NemoClaw 也提供 私有網路介面 可透過註冊完成後僅產生一次的令牌化 URL 存取。請務必立即儲存此 URL，因為它不會再次顯示。若要從網路上的其他電腦檢視此 URL，您必須使用 OpenShell 設定 SSH 隧道和連接埠轉送。

一個雖小但很重要的細節是，URL 必須用以下方式打開： 使用 127.0.0.1 而不是 localhost使用 localhost 可能會導致未經授權的來源 (CORS) 錯誤，如果您不了解這一點，可能會浪費您的時間。

日常運營中有幾個方面需要注意。 有用的 CLI 指令：在沙箱內開啟 shell，查看狀態，即時追蹤日誌，列出沙箱，啟動或停止 Telegram 橋接，啟動連接埠轉發，或執行刪除整個堆疊的乾淨卸載腳本。

至於硬件 NVIDIA DGX Spark 顯然，它是為這些應用場景而設計的。它是一個緊湊型系統，配備 NVIDIA GPU 和高頻寬統一內存，非常適合運行中大型模型，延遲低，而無需搭建完整的資料中心。

La 統一記憶 它尤其有助於解決一個經典的瓶頸問題：CPU 和 GPU 之間的資料傳輸。透過共享記憶體空間，模型可以更有效率地存取數據，從而能夠（幾乎）即時加載擁有數百億個參數的模型——這在消費級硬體領域直到最近都是不可想像的。

流行的本地人工智慧代理：範例和用例

除了NVIDIA生態系統之外，還有許多其他選擇。 您自己的團隊中的人工智慧代理和麵向自動化的平台 哪些功能值得了解？每個功能都針對不同類型的使用者和不同的任務。

例如，OpenClaw 已經變得非常流行，因為它… 開源代理平台 它可以作為個人助理使用。它允許您建立自訂代理來清理收件匣、發送訊息、管理日曆、安排行程或自動執行數位生活中的重複性任務。

可以安裝在 Windows，macOS和Linux它還支援本地LLM模型，從而提升隱私保護並降低對雲端的依賴。此外，它還能與WhatsApp、Telegram、Discord、Slack、Signal和Apple Messages等即時通訊應用程式集成，讓您的代理程式在您常用的聊天工具「後台」運行。

透過插件，您可以授予它存取瀏覽器、社交網路、電子郵件用戶端和其他應用程式的權限，以及允許它執行其他操作。 與檔案系統交互，執行命令和腳本或實現典型辦公室和生產力任務的自動化。所有這一切都以讓用戶選擇代理可以使用的資料夾、應用程式和服務為核心。

在更廣泛的生態系統中，諸如以下平台： 困惑計算機這使得 Perplexity 從一個簡單的對話式搜尋引擎轉變為能夠執行複雜工作流程的助手。在電腦模式下，您可以瀏覽網頁、建立和管理文件、編寫程式碼、處理數據，並與 Gmail、Slack、GitHub 和 Notion 等服務進行協作。

它的優勢在於利用 Claude、GPT、Gemini 或 Perplexity 自家的 Sonar 等模型來管理大量數據，並將複雜任務分解為可串行或並行執行的子任務。雖然並非完全本地化，但其代理模式和與工具的整合與運行在本機電腦上的代理程式非常相似。

在純粹的開源和本地領域， Jan AI 它被宣傳為ChatGPT的替代品，可安裝在Windows、Mac和Linux系統上。它允許您使用本地模型，例如Llama（Meta）或Gemma（Google），或者如果您對混合使用感興趣，也可以連接到線上模型，例如ChatGPT、Claude、Gemini、Mistral、Qwen或DeepSeek。

Jan AI 既可以作為… 經典對話助手 （提問、起草、總結、翻譯、改寫、解釋）作為一個能夠處理文件和文件、執行命令以及產生多種語言代碼的代理。此外，其高度的自訂性使得建立具有特定指令的自訂代理變得輕而易舉，並且可以根據不同的任務在不同的「設定檔」之間切換。

設備上的代理：PocketBot 和行動自動化

的概念 本地AI不會一直停留在PC端。它也對行動電話產生了巨大影響，越來越多的項目選擇小型但專業的模型來實現手機自動化，而無需通過雲端。

PocketBot 就是一個明顯的例子，它是一個直接在…上運行的代理程式。 iPhone 使用 flame.cpp on Metal它的任務是將自然語言轉化為電話自動化：使用者無需點擊上千個選單或快捷方式，只需描述自己的需求，代理商就會負責將其轉換為相應的操作。

PocketBot 使用量化模型 3.000億個參數完全在本地運行，無需將資料發送到外部伺服器。 iPhone 15 Pro 的可用記憶體通常只有 3-4 GB，超過這個數字就會被 iOS 終止進程，因此模型大小和量化至關重要。

其創建者提到的挑戰之一是尋找 用於工具呼叫和結構化輸出的可靠小型模型 例如，在使用 Qwen3 時，他們會遇到諸如虛構的參數名稱、格式錯誤的 JSON（缺少括號）和不一致的模式遵循等問題，從而迫使他們實現自我糾正和重試層。

關於這一點也存在著很多爭論。 最佳量化點 為了獲得最佳的品質/記憶體比，請根據晶片代數和可用記憶體考慮使用 q4_K_M 或 q5_K_S 等選項。量化位數越少，模型越易於管理，但可能會對工具呼叫中的推理和準確性產生負面影響。

另一個方面是調整 採樣參數 根據任務的不同而有所差異。典型的配置包括溫度 0,7、top_p 0,8、top_k 20 和 repeat_penalty 1,1，但人們有興趣將自由對話和工具呼叫的生成策略區分開來，因為後者更注重確定性而非創造性。

最後，在手機上 情境管理 它尤其需要注意：系統提示字元通常會被快取到鍵值快取中以避免重複處理，並且使用滑動視窗來避免超出容量限制；因此，了解如何操作非常重要。 儲存並整理您的提示.

除此之外，還有空間採用增量式摘要技巧、選擇性記憶或結合壓縮歷史和即時情境的混合方案。

使用 Ollama 和 Open WebUI 設定您自己的「本地 ChatGPT」。

對於那些不需要像 NemoClaw 那樣複雜的堆疊，但又想使用類似功能的人來說，這或許是個不錯的選擇。 運行在你電腦上的 ChatGPT 型助手一種基於 Ollama 和 Open WebUI 的非常實用的方法已經流行起來。

這個想法很簡單： 奧拉馬 它負責下載和提供模型 （例如 Llama、Gemma、Qwen 等）可以透過本機 API 在您的電腦上運行，Open WebUI 提供了一個與 ChatGPT 非常相似的 Web 介面，但完全在您的電腦上運行。 UI 和模型之間的所有通訊都透過 localhost 進行。

一份非常簡單明了的逐步指南詳細說明如何操作，只需幾個步驟即可。 15 個終端命令您可以在一小時內完成設定並運行此程式。它包括 Python 3.11 安裝、基本系統配置、Ollama 安裝和 Open WebUI 部署，以及螢幕截圖和故障排除提示。

最終營造出一個讓你享受的環境。 零成本訂閱完全隱私（資料永遠不會離開您的電腦）、快速回應（無需共享伺服器佇列）以及完全自由地自訂專業助理以滿足您的個人需求。

此外，Open WebUI 還整合了以下進階功能： 網路搜尋、程式碼解釋器、自訂模型創建 基於特定配置，它正在開發先進的 RAG 功能，以建立個人知識庫。其理念是，您可以擁有一個熟悉您的文件和工作流程的訓練有素的“副駕駛”，而無需依賴第三方。

使用幾個月後，許多用戶報告說，這種組合已經完全取代了[以前產品/服務]。 他們付費訂閱的雲端解決方案同時，他們也在不斷改進與本地數據和工具的整合。下一步自然是將這個「自製 ChatGPT」與代理、腳本和服務連接起來，以協調更複雜的自動化流程。

自動化您的數位生活：本地人工智慧的實際案例

從技術層面來說，這一切聽起來都很棒，但在日常生活中，你又能用它做些什麼呢？ 訓練有素的當地代理人如果將多模態模型、螢幕存取、工具和結構化儲存結合起來，可能性就非常廣泛了。

有一些提案是為…而設計的 實現你電腦的自動化使用 該系統包含能夠接收螢幕截圖並執行相應操作的代理程式。流程大致如下：系統截取螢幕截圖，代理程式使用能夠處理圖像的模型對其進行處理，識別當前開啟的應用程式、顯示的按鈕和文本，並根據您的提示決定下一步操作。

利用這個想法，你可以例如： 設立專門的翻譯代理該系統可擷取您想要翻譯的螢幕部分，將其放大到「放大鏡翻譯器」視窗中，並使用針對翻譯進行微調的小模型（例如，4B 參數）產生幾乎即時的翻譯，就像 PHI 的微調變體一樣。

另一個有趣的方面是… 將螢幕截圖轉換為 PDF 的視覺化模型想像一下，如果有一款工具能夠根據演示文稿、儀錶板或文檔的屏幕截圖，生成格式精美的 PDF 文件，您可以對其進行潤色，或直接將其用於演示文稿中，那該有多方便。透過將 Python 與 Acrobat 集成，您可以實現整個流程的自動化。

為了在不依賴外部服務的情況下使用網絡，可以使用一些老牌技術，例如… BeautifulSoup 仍然非常有用您可以設定一個輕量級爬蟲，它可以抓取多個頁面並僅保留必要的 HTML 程式碼（例如，僅提取 <head> 標籤）。