Ollama：您需要的所有信息，尽在您的电脑上使用本地人工智能

信息技术数字 » 资源 » Ollama：您需要的所有信息，尽在您的电脑上使用本地人工智能

如果你正在寻找一种方式来与 无需依赖云技术的强大人工智能模型你可能听说过 Ollama。这款工具已成为开发本地人工智能项目的热门选择，无论是专业用途还是个人用途。

Ollama 大大简化了环境搭建、大型文件下载以及依赖项和 GPU 驱动程序处理的整个过程。本质上，它允许您： 直接在您的计算机上下载、管理和运行大型语言模型 (LLM)。非常注重隐私、安全和个性化。

Ollama是什么？它的独特之处是什么？

奥拉玛是 开源平台，旨在本地运行LLM 可在 macOS、Windows 和 Linux 系统上运行。与连接到云 API（例如 OpenAI 的 API）不同，这些模型会下载到您的计算机上并在那里运行，利用您的 CPU，并在可能的情况下利用 GPU。

它的功能类似于“即买即用的车辆”，基于高性能推理引擎构建，例如： 美洲驼.cpp无需编译库、转换权重或手动调整上千个参数， 你使用简单的命令 如 ollama pull 下载模型或 ollama run 和他们谈谈。

它与其他方法的主要区别在于，它将以下功能整合到一个工具中： 模型管理器、API 服务器、CLI 和定制系统这样一来，您既可以从终端使用它，也可以将其集成到应用程序、脚本、Web 前端或 Open WebUI 等工具中。这种集成减少了 外部依赖 来自众多工作流程中的供应商。

此外，Ollama 的设计面向非常不同的用户群体：将 AI 集成到其应用程序中的开发者； 研究人员处理敏感数据想要使用“本地 ChatGPT”进行学习或写作的学生，以及无法承担将数据发送给外部提供商费用的公司。

在本地使用 Ollama 的 LLM 的优势

Ollama之所以如此受欢迎，主要原因在于它解决了在云端使用人工智能时遇到的几个常见问题： 隐私与安全成本和外部依赖.

首先，直接在您的计算机上运行模型， 您的所有提示、文档和结果都将保留在您自己的硬件上。数据不会离开系统，这在受监管的环境（医疗保健、金融、法律）或处理受保护数据（HIPAA、GDPR 等）时至关重要。只要实例完全位于本地，并且您没有将任何内容托管在第三方服务器上，数据流就始终在您的控制之下。

其次，API使用费也已取消。一旦你的团队准备就绪， 您无需向服务提供商支付代币或订阅费用即可生成文本、代码或摘要。是的，你需要投资购买不错的硬件（尤其是内存，如果可以的话，最好再加一块显卡），但作为回报，你可以避免月底账单上的意外支出。

另一个重要的优点是 Ollama无需网络连接即可运行 模型下载完成后，如果您在网络覆盖较差的地区工作、进行实地考察、经常出差，或者只是想确保即使网络中断，您的 AI 环境仍然可用，这将非常有用。

最后，该工具非常适合用于实验：您可以 更改参数、使用提示模板、添加 LoRa 适配器或导入第三方模型所有内容都集中在其模型文件系统中。这使其成为一个非常灵活的平台，适用于小众项目或专业研究。

Ollama 的实际运作方式

在内部，Ollama 创造了 隔离环境，配备运行模型所需的一切设施权重、配置文件、库和依赖项。从用户的角度来看，您只需考虑所需的模型，而无需关心其编译方式或所需的 CUDA 版本。

典型流程很简单：首先，您需要下载模型。 ollama pull <nombre_modelo>然后你用它运行它 ollama run <nombre_modelo> 之后，您可以通过编写提示信息与它进行交互。您可以直接在控制台中执行此操作，也可以通过它公开的 HTTP API 执行此操作。 localhost:11434.

奥拉玛试图占便宜 该GPU有货且兼容。 （NVIDIA、AMD、Apple Silicon，通过 Metal 实现）。否则，它将依赖于 CPU。在配备现代独立显卡的系统中，你会注意到性能的显著提升，尤其是在使用大型模型时。即便如此，它也可以仅使用 CPU，通过对模型进行量化来降低内存消耗。

在 macOS 和 Windows 系统上，Ollama 会安装为一个在后台运行的应用程序，并添加该命令。 ollama 在 Linux 系统中，它通常作为 systemd 服务运行，或者运行在 Docker 容器中，具体取决于您的偏好。在更复杂的环境中，或者当您想要隔离依赖项时， 使用泊坞窗 这很常见

无论你使用什么系统，请记住这一点。 内存和磁盘空间至关重要对于 7B 型号，您至少需要 8GB 内存；对于 13B 型号，16GB 内存更佳；如果您选择 30B 或 70B 这样的顶级机型，则需要 32GB 或更多内存。存储容量方面，从小型量化版本的 2-3GB 到大型版本的数十 GB 不等。

模型管理和基本 CLI 命令

安装完成后，Ollama 的魔力就会显现出来。 命令行界面虽然一开始可能会让人觉得有点吓人，但关键命令很容易学会，几乎涵盖了你每天都会做的所有事情。

要下载新模板，您可以使用 ollama pull <modelo>名称通常遵循以下模式 familia:etiqueta， 例如 llama3.2, mistral:7b o phi4-mini如果忽略标签，Ollama 通常会出售最新的“推荐”版本。

当你想开始一场互动对话时，你运行 ollama run <modelo>如果模型尚未下载，程序将首先自动下载。在此交互模式下，您可以编写提示信息并使用特殊的斜杠命令，例如： /set parameter temperature 0.7 改变创造力或 /bye 出去。

要查找计算机上已安装的模型，可以使用以下命令： ollama list它会显示名称、大小和修改日期。如果您想释放空间，可以删除其中一个文件。 ollama rm <modelo>如果您想查看当前加载到内存中的模型以及它们使用的是 CPU 还是 GPU，您可以使用…… ollama ps.

当您需要详细检查特定型号时， ollama show <modelo> 它会显示模型的配置信息：架构、上下文窗口、默认参数、提示模板，甚至如果您使用相应的选项请求，还会显示模型文件的内容。这是一种非常便捷的方式，可以帮助您了解模型的行为原因。

Ollama中最常用的模型及其用途

Ollama提供的课程并不局限于单一的法学硕士项目：它还提供…… 海量现成模板库 它们用途各异。许多设备可以通过各自的配置文件或适配器进行进一步调整，但其默认设置即可满足截然不同的需求。

例如： 骆驼 3.2 它是一款功能全面的优秀工具，可用于生成通用文本、写作、聊天、翻译和文档摘要。凭借其出色的多语言支持，它非常​​适合创建能够流利理解和生成西班牙语的客户服务聊天机器人、推荐系统或助手。

如果你喜欢编程，那么像这样的模型 代码骆驼 Mistral 的编程版本正是为此而设计的。它们可用于生成函数、代码审查、提出重构建议、创建单元测试，甚至构建完整的 API。许多开发者将它们直接集成到编辑器或终端工作流程中。

在视觉领域，诸如以下模型 拉瓦 它们提供多模态功能：您可以发送图片和文本，并获得描述、关于照片内容的问答，或视觉内容分析。这为以下领域打开了大门： 电子商务、数字营销或医学影像分析.

对于更偏学术和科学性的任务，可以使用诸如此类的模型。 Φ3 （以及Phi家族的后继者）接受过扎实的文献研究训练。他们通常非常擅长总结科学文章、协助撰写最新综述、比较研究或从长篇文本中提取关键思想。

总之，如果您不确定从哪里开始， 奥拉玛模型库 它提供包含安装说明、常见用例和自定义选项的资料单。通常的做法是尝试几种方案，然后选择最适合您的硬件和最常用任务的方案。

实际应用案例：从私人聊天机器人到研究

除了理论层面，Ollama 在解决具体问题时更能展现其优势。它最常见的用途之一是组装 完全在本地服务器上运行的聊天机器人无需向第三方发送任何对话内容。这对于处理敏感客户数据或内部记录的公司来说尤其重要。

在这些应用中，Ollama 通常与现有系统集成： 内容管理系统 (CMS)、客户关系管理系统 (CRM) 或内部应用程序例如，内容管理员可以使用本地模型来建议标题、重写段落或推荐相关内容，所有操作都无需离开公司环境。同样，客户关系管理系统 (CRM) 也可以利用模型来总结客户互动或建议后续步骤。

在学术界和医疗保健领域，许多研究团队开始使用 Ollama。 处理受保护的临床或实验数据集 他们需要遵守 HIPAA 或 GDPR 等法规。他们将数据上传到本地实例，测试不同的模型进行统计分析、生成图表或撰写文章，并确保其基础设施之外的任何人都无法访问这些信息。

另一个非常强大的应用是创建 以隐私为中心的AI应用两个常见的例子是律师事务所的合同分析，或是那些不信任外部服务的公司处理内部文档。由于所有流程都在其内部网络运行，因此更容易证明符合监管要求并保持对数据流的控制。为了加强内部网络安全，许多团队会将这些部署与……结合起来。 本地 DNS 服务器.

最后，还有一个完整的用户生态系统，他们将 Ollama 与 Open WebUI 等第三方图形界面结合使用，这些界面提供 类似 ChatGPT 的体验，但连接到您的本地服务器这样，您就可以将现代 LLM 的强大功能与您自己的文档（RAG）搜索、多用户帐户或与工具的集成结合起来，始终在您自己的基础架构上。

使用模型文件进行高级配置、API 和自定义

一旦你掌握了基本命令，下一步自然就是探索 Ollama 更高级的部分：它的 HTTP API 和模型文件系统借助它们，您可以调整模型、协调应用程序的调用，并在相当详细的级别上微调行为。

该API集成在服务器本身中，并公开了诸如以下的端点： /api/generate （完成文本） /api/chat （与历史对话） /api/embeddings （生成向量嵌入）或 /api/tags （列出模型）。您可以使用它 curl、HTTP 库或 OpenAI SDK 目标 localhost:11434/v1因为存在与 OpenAI API 风格的兼容层。

与此同时， 模型文件 这些是描述模型构建或修改方式的文本文件：它基于哪个基础模型，应用了哪些 LoRa 适配器，使用了哪个提示模板，它有哪些默认参数，或者设置了哪些系统消息。 ollama create 您可以根据这些文件生成自定义模型。

例如，这允许 以 GGUF 或 Safetensors 格式导入外部模型您可以对它们进行量化以减小其大小，添加特定的响应样式，或集成针对特定领域（例如医学术语或法律术语）训练的适配器。最终会生成一个新模型，并拥有自己的名称，您可以像在官方库中运行或共享任何其他模型一样运行或共享它。

那些需要榨取每一分资源的人，可以利用一系列推理参数： 温度、top_p、top_k、预测次数、ctx 次数、重复惩罚 以及更多。控制上下文窗口（num_ctx）在处理长文本或非常长的对话时尤其重要，因为它决定了模型“记住”你之前说过的话的程度。

最后，Ollama 还允许您定义环境变量，例如 OLLAMA_HOST、OLLAMA_MODELS 或 OLLAMA_NUM_PARALLEL 调整 API 监听的位置、模型存储路径、并行处理的请求数量或模型加载时间。这种微调至关重要。 您将该工具部署在共享服务器上。 或生产环境。

通过结合所有这些功能——本地执行、模型库、与现有工具兼容的 API 以及自定义系统——Ollama 成为 对于任何想要在自身基础设施中认真运用生成式人工智能的人来说，这都是核心组件。从普通的笔记本电脑到更强大的集群。