本地人工智能与自动化：代理、安全及实际案例

信息技术数字 » 资源 » 本地人工智能与自动化：代理、安全及实际案例

La 利用本地人工智能实现自动化 它不再仅仅局限于拥有家用服务器的技术爱好者，而是成为任何想要更多控制权、隐私和灵活性的人的真正选择。如今，你不再完全依赖大型公司的云服务，就能拥有能够读取你的屏幕、移动你的鼠标、处理你的文件或在后台运行复杂工作流程的代理程序。

局势已经彻底失控：从 像NVIDIA的NemoClaw这样的全栈解决方案 从运行在您自己的硬件上的自主代理，到像 PocketBot 这样将自然语言转换为手机自动化的移动应用程序，再到像 OpenClaw 这样的开放平台、像 Jan AI 这样的助手，以及使用 Ollama 和 Open WebUI 设置您自己的“自制 ChatGPT”的实用指南，其目标都是一样的：构建一个人工智能存在于您的计算机上、与您的程序交互并自动执行您的日常任务的生态系统，而无需将您的数据从您的系统中移除。

什么是本地AI自动化？它为什么重要？

当我们谈论 用于自动化的本地人工智能我们指的是运行在您自己的设备（PC、服务器、DGX、移动设备）上的模型和代理，它们不会将敏感数据发送到外部服务器。模型可以做出决策、执行代码、读取文件、调用 API 并协调工具，但所有操作都在您可控的环境中进行。

这一演变过程是巨大的：从最初只能回答问题的简单聊天机器人，我们已经发展到…… 能够执行任务链的人工智能代理协调多个步骤、参考不同数据源并做出自主决策。这彻底改变了我们对自动化的理解：模型不再仅仅是“回答问题的人”，而是“行动的人”。

这一变化会带来一个显而易见的后果： 更大的自主权意味着更大的风险如果您授予代理访问文件系统、您的凭据、浏览器或开发工具的权限，则需要强大的安全设计。本地化方案在这方面优势显著，因为您可以限制权限、隔离进程，并随时密切监控模型的运行状态。

此外， 采用 Apache-2.0 或 MIT 等免费许可证的开放模式。 （与 Falcon、Bark、Jan 等众多解决方案类似）它们允许您构建解决方案，而无需受制于合同或不透明的使用政策。您可以审核代码、调整模型、进行微调，甚至将其与特定硬件（例如 A100 GPU 或 NVIDIA DGX 工作站）集成。

对于许多行业（医疗保健、银行、法律、公共管理）而言， 隐私和安全存储 它是神圣的，是……的组合 本地人工智能 + 自主代理 + 开放模型 它确实带来了改变：你实现了自动化，但数据却不会离开你的边界。

用于高级自动化的本地 AI 堆栈：NemoClaw、OpenShell 和 OpenClaw

NVIDIA 已强势进军这场竞争。 NemoClaw这是一个开源技术栈，旨在安全地在本地部署自主代理，并确保它们始终在线。它专为 NVIDIA DGX Spark 等高性能机器而设计，但其理念也适用于其他经过认证的环境。

NemoClaw 扮演 乐队领：安装并协调 OpenShell（安全运行时）和 OpenClaw（多通道代理框架），配置模型推理（通过 Ollama 或 NVIDIA NIM），并从一开始就应用安全策略，而不是作为最后一刻的补丁。

堆栈的核心通常是 NVIDIA Nemotron 3 Super 120B这是一个拥有 120.000 亿个参数、专为智能体优化的模型：它非常擅长执行复杂指令、操作工具和进行多步骤推理。然而，运行如此庞大的模型需要强大的 GPU 和大量的内存；仅模型本身就需要大约 87 GB 的内存。

推理通常与 Ollama 作为本地运行时它在机器本身上公开了一个 REST API。NemoClaw 通过与此 API 通信来发送提示、接收响应，并使用工具调用模式协调工具调用。

组件 OpenShell 在安全方面至关重要。它强制执行沙箱机制，控制凭据，充当网络代理，并应用最小权限原则。它会监控代理尝试建立的连接，并允许您通过类似 TUI 的界面批准或阻止端点。这样，如果模型尝试访问新服务，未经您的批准，任何操作都无法进行。

沙盒世界里的生活 OpenClaw，多通道代理层它负责与 Telegram、Slack 和 Discord 等平台进行通信，管理代理的内存，连接各种工具（脚本、API、浏览器），并长期维护对话。如果您想要一个始终在线、可通过消息访问且拥有持久内存的助手，那么这个组件就能满足您的需求。

安全、沙箱和本地部署分步指南

该堆栈的一大优势在于： 从设计阶段就考虑安全性。并非后期添加。代理项目中常见的错误是先构建所有功能，然后试图“保护”已构建的功能，结果到处都是漏洞。

中心机制是 执行沙箱代理想要执行的所有代码都在隔离的环境中运行：它无法直接访问主机的文件系统，不能进行任意网络调用，也不能将权限提升到配置中定义的范围之外。

这大大减轻了……的影响。 提示注入攻击 或者恶意指令。如果模型执行异常操作，损害将仅限于沙箱内部。即便如此，NVIDIA 也承认没有完美的沙箱，因此他们建议始终在隔离的系统上测试新工具。

此外，NemoClaw 还实现了 对工具和策略进行实时精细控制默认情况下，代理程序只能与有限数量的网络端点通信。当它尝试执行新操作时，OpenShell 会阻止该操作，您可以清楚地看到它正在尝试执行的操作（主机、端口、进程）。然后，您可以允许该操作在当前会话中执行，或者在主机上添加永久策略。

DGX Spark 的部署流程通常遵循以下步骤：配置 Ubuntu 24.04 LTS，配备 NVIDIA 驱动程序 继一个 电脑组装指南安装 Docker 28.xo 或更高版本（带 GPU 运行时），安装 Ollama 并下载 Nemotron 3 Super 120B 模型，最后使用一条命令启动 NemoClaw 安装程序，该命令会触发配置向导。

本入门指南将引导您完成以下步骤 沙箱名称、推理提供程序、所选模型、安全预设 此外，如果需要，还可以集成 Telegram。设置过程预计需要 20-30 分钟，下载模板还需要 15-30 分钟，具体时间取决于网络带宽。

就性能而言，我们必须实事求是：一个包含 120 亿参数的模型的响应时间可能介于……之间 30秒和90秒 在本地环境下，这本身并不是问题，但在设计使用流程和分配给代理的任务类型时，需要考虑这一点。

远程访问、Web界面和专为本地人工智能设计的硬件

一切设置完毕后，您可以通过多种方式与代理互动。最常见的方式是： 通过 Telegram使用 @BotFather 创建的机器人是一个实用的选择：强大的 API、加密、适用于各种设备的应用程序，而且无需将服务器端口暴露给外界。

机器人接收你的消息，将其转发给DGX上的代理，然后回复你。有趣的是，尽管对话是通过Telegram的基础架构进行的， 推断和对敏感数据的访问仍然100%本地化。 在你的机器上。

此外，NemoClaw 还提供 私有网络界面 可通过注册完成后仅生成一次的令牌化 URL 访问。务必立即保存此 URL，因为它不会再次显示。要从网络上的其他计算机查看此 URL，您必须使用 OpenShell 配置 SSH 隧道和端口转发。

一个虽小但很重要的细节是，URL 必须用以下方式打开： 使用 127.0.0.1 而不是 localhost使用 localhost 可能会导致未经授权的来源 (CORS) 错误，如果您不了解这一点，可能会浪费您的时间。

日常运营中有几个方面需要注意。 有用的 CLI 命令：在沙箱内打开 shell，查看状态，实时跟踪日志，列出沙箱，启动或停止 Telegram 桥接，激活端口转发，或运行删除整个堆栈的干净卸载脚本。

至于硬件 NVIDIA DGX Spark 显然，它是为这些应用场景而设计的。它是一个紧凑型系统，配备 NVIDIA GPU 和高带宽统一内存，非常适合运行中大型模型，延迟低，而无需搭建完整的数据中心。

La 统一记忆 它尤其有助于解决一个经典的瓶颈问题：CPU 和 GPU 之间的数据传输。通过共享内存空间，模型可以更高效地访问数据，从而能够（几乎）实时加载拥有数百亿个参数的模型——这在消费级硬件领域直到最近都是不可想象的。

流行的本地人工智能代理：示例和用例

除了NVIDIA生态系统之外，还有很多其他选择。 您自己的团队中的人工智能代理和面向自动化的平台 哪些功能值得了解？每个功能都针对不同类型的用户和不同的任务。

例如，OpenClaw 已经变得非常流行，因为它…… 开源代理平台 它可以作为个人助理使用。它允许您创建自定义代理来清理收件箱、发送消息、管理日历、安排行程或自动执行数字生活中的重复性任务。

可以安装在 Windows，macOS和Linux它还支持本地LLM模型，从而提升隐私保护并降低对云端的依赖。此外，它还能与WhatsApp、Telegram、Discord、Slack、Signal和Apple Messages等即时通讯应用集成，让您的代理程序在您常用的聊天工具“后台”运行。

通过插件，您可以授予它访问浏览器、社交网络、电子邮件客户端和其他应用程序的权限，以及允许它执行其他操作。 与文件系统交互，执行命令和脚本或者实现典型办公和生产力任务的自动化。所有这一切都以用户为中心，让用户可以选择代理可以使用的文件夹、应用程序和服务。

在更广泛的生态系统中，诸如以下平台： Perplexity Computer这使得 Perplexity 从一个简单的对话式搜索引擎转变为能够执行复杂工作流程的助手。在计算机模式下，您可以浏览网页、创建和管理文档、编写代码、处理数据，并与 Gmail、Slack、GitHub 和 Notion 等服务进行协作。

它的优势在于利用 Claude、GPT、Gemini 或 Perplexity 自家的 Sonar 等模型来管理海量数据，并将复杂任务分解为可串行或并行执行的子任务。虽然并非完全本地化，但其代理模式和与工具的集成与运行在本地计算机上的代理非常相似。

在纯粹的开源和本地领域， Jan AI 它被宣传为ChatGPT的替代品，可安装在Windows、Mac和Linux系统上。它允许您使用本地模型，例如Llama（Meta）或Gemma（Google），或者如果您对混合使用感兴趣，也可以连接到在线模型，例如ChatGPT、Claude、Gemini、Mistral、Qwen或DeepSeek。

Jan AI 既可以作为…… 经典对话助手 （提问、起草、总结、翻译、改写、解释）作为一个能够处理文件和文档、执行命令以及生成多种语言代码的代理。此外，其高度的自定义性使得创建带有特定指令的自定义代理变得轻而易举，并且可以根据不同的任务在不同的“配置文件”之间切换。

设备上的代理：PocketBot 和移动自动化

的概念 本地AI不会一直停留在PC端。它也对移动电话产生了巨大影响，越来越多的项目选择小型但专业的模型来实现手机自动化，而无需通过云端。

PocketBot 就是一个明显的例子，它是一个直接在……上运行的代理。 iPhone 使用 flame.cpp on Metal它的任务是将自然语言转化为电话自动化：用户无需点击上千个菜单或快捷方式，只需描述自己的需求，代理就会负责将其转化为相应的操作。

PocketBot 使用量化模型 3.000亿个参数完全在本地运行，无需将数据发送到外部服务器。iPhone 15 Pro 的可用内存通常只有 3-4 GB，超过这个数就会被 iOS 终止进程，因此模型大小和量化至关重要。

其创建者提到的挑战之一是寻找 用于工具调用和结构化输出的可靠小型模型 例如，在使用 Qwen3 时，他们会遇到诸如虚构的参数名称、格式错误的 JSON（缺少括号）和不一致的模式遵循等问题，从而迫使他们实现自我纠正和重试层。

关于这一点也存在很多争论。 最佳量化点 为了获得最佳的质量/内存比，请根据芯片代数和可用内存考虑使用 q4_K_M 或 q5_K_S 等选项。量化位数越少，模型越易于管理，但可能会对工具调用中的推理和准确性产生负面影响。

另一个方面是调整 采样参数 根据任务的不同而有所差异。典型的配置包括温度 0,7、top_p 0,8、top_k 20 和 repeat_penalty 1,1，但人们有兴趣将自由对话和工具调用的生成策略区分开来，因为后者更注重确定性而非创造性。

最后，在手机上 上下文管理 它尤其需要注意：系统提示符通常会被缓存到键值缓存中以避免重复处理，并且使用滑动窗口来避免超出容量限制；因此，了解如何操作非常重要。 保存并整理您的提示.

除此之外，还有空间采用增量式摘要技巧、选择性记忆或结合压缩历史和即时上下文的混合方案。

使用 Ollama 和 Open WebUI 设置您自己的“本地 ChatGPT”。

对于那些不需要像 NemoClaw 那样复杂的堆栈，但又想使用类似功能的人来说，这或许是个不错的选择。 运行在你电脑上的 ChatGPT 型助手一种基于 Ollama 和 Open WebUI 的非常实用的方法已经流行起来。

这个想法很简单： 奥拉马 它负责下载和提供模型 （例如 Llama、Gemma、Qwen 等）可以通过本地 API 在您的计算机上运行，​​Open WebUI 提供了一个与 ChatGPT 非常相似的 Web 界面，但完全在您的计算机上运行。UI 和模型之间的所有通信都通过 localhost 进行。

一份非常简单明了的分步指南详细说明了如何操作，只需几个步骤即可。 15 条终端命令您可以在一小时内完成设置并运行此程序。它包括 Python 3.11 安装、基本系统配置、Ollama 安装和 Open WebUI 部署，以及屏幕截图和故障排除提示。

最终营造出一个让你享受的环境。 订阅费用全免完全隐私（数据永远不会离开您的计算机）、快速响应（无需共享服务器队列）以及完全自由地定制专业助手以满足您的个人需求。

此外，Open WebUI 还集成了以下高级功能： 网络搜索、代码解释器、自定义模型创建 基于特定配置，它正在开发先进的 RAG 功能，以构建个人知识库。其理念是，您可以拥有一个熟悉您的文档和工作流程的训练有素的“副驾驶”，而无需依赖第三方。

使用几个月后，许多用户报告说，这种组合已经完全取代了[以前产品/服务]。 他们付费订阅的云解决方案同时，他们也在不断改进与本地数据和工具的集成。下一步自然是将这个“自制 ChatGPT”与代理、脚本和服务连接起来，以协调更复杂的自动化流程。

自动化您的数字生活：本地人工智能的实际案例

从技术层面来说，这一切听起来都很棒，但在日常生活中，你又能用它做些什么呢？ 训练有素的当地代理人如果将多模态模型、屏幕访问、工具和结构化存储结合起来，可能性就非常广泛了。

有一些提案是为……而设计的 实现你电脑的自动化使用 该系统包含能够接收屏幕截图并执行相应操作的代理。流程大致如下：系统截取屏幕截图，代理使用能够处理图像的模型对其进行处理，识别当前打开的应用程序、显示的按钮和文本，并根据您的提示决定下一步操作。

利用这个想法，你可以例如： 设立专门的翻译代理该系统捕获您想要翻译的屏幕部分，将其放大到“放大镜翻译器”窗口中，并使用针对翻译进行微调的小模型（例如，4B 参数）生成几乎即时的翻译，就像 PHI 的微调变体一样。

另一个有趣的方面是…… 将屏幕截图转换为 PDF 的可视化模型想象一下，如果有一款工具能够根据演示文稿、仪表盘或文档的屏幕截图，生成格式精美的 PDF 文件，您可以对其进行润色，或直接将其用于演示文稿中，那该有多方便。通过将 Python 与 Acrobat 集成，您可以实现整个流程的自动化。

为了在不依赖外部服务的情况下使用网络，可以使用一些老牌技术，例如…… BeautifulSoup 仍然非常有用您可以设置一个轻量级爬虫，它可以抓取多个页面并仅保留必要的 HTML 代码（例如，仅提取 <head> 标签）。