- Ollama 允许您在本地运行大型语言模型，无需依赖云，同时还能维护数据隐私。
- 该工具通过简单的 CLI 和 API 简化了 Llama、Mistral、Code Llama、LLaVA 或 Phi 等模型的安装、管理和执行。
- 它非常适合在 macOS、Windows 和 Linux 上创建私密聊天机器人、注重隐私的 AI 应用程序以及使用敏感数据进行研究。
- 其模型文件系统、GPU 支持以及与 OpenAI API 的兼容性，使其成为高级 AI 项目非常灵活的平台。
如果您正在寻找一种无需依赖云即可使用强大 AI 模型的方法，那么您可能听说过 Ollama。这款工具已成为本地开发 AI 项目的热门选择，无论是专业用途还是个人用途。
Ollama 大大简化了环境搭建、大型文件下载以及依赖项和 GPU 驱动程序管理等整个流程。本质上，它允许您直接在计算机上下载、管理和运行大型语言模型 (LLM)，并高度重视隐私、安全和自定义功能。
Ollama是什么？它的独特之处是什么？
Ollama 是一个开源平台，旨在macOS、Windows 和 Linux 系统上本地运行 LLM 模型。与连接云 API（例如 OpenAI 的 API）不同，Ollama 会将模型下载到您的计算机上并直接运行，利用您的 CPU，并在条件允许的情况下利用 GPU。
它的功能类似于“即买即用的车辆”，基于高性能推理引擎构建，例如： 美洲驼.cpp无需编译库、转换权重或手动调整上千个参数， 你使用简单的命令 如 ollama pull 下载模型或 ollama run 和他们谈谈。
它与其他方法的主要区别在于，它将模型管理器、API 服务器、命令行界面 (CLI) 和自定义系统集成到一个单一工具中。这使得您可以从终端使用它，也可以将其集成到应用程序、脚本、Web 前端或 Open WebUI 等工具中。这种集成降低了许多工作流程中对外部供应商的依赖。
此外，Ollama 的设计面向非常不同的用户群体：将 AI 集成到其应用程序中的开发者、处理敏感数据的研究人员、想要使用“本地 ChatGPT”进行学习或写作的学生，以及无法承担将数据发送给外部提供商费用的公司。
在本地使用 Ollama 的 LLM 的优势
Ollama之所以如此受欢迎，主要原因在于它解决了在云端使用人工智能时的一些常见问题：隐私和安全、成本以及对外部的依赖。
首先，由于模型直接运行在您的计算机上，所有提示、文档和结果都保留在您自己的硬件上。没有任何数据会离开您的设备，这在受监管的环境（医疗保健、金融、法律）或处理受保护数据（HIPAA、GDPR 等）时至关重要。只要实例确实位于本地，并且您没有在第三方服务器上运行任何程序，数据流就始终在您的控制之下。
其次，API 使用费将不复存在。团队搭建完成后，即可生成文本、代码或摘要，无需支付代币或订阅费用。当然，您需要投资一些性能不错的硬件（尤其是内存，如果条件允许，最好配备 GPU），但作为回报，您可以避免月底账单上的意外支出。
另一个重要优势是，Ollama 模型下载完成后即可离线使用。如果您在网络覆盖不佳的地区工作、进行实地考察、经常出差，或者只是想确保即使网络中断也能使用 AI 环境，这项功能就非常有用。
最后，该工具高度注重实验性：您可以更改参数、使用提示模板、添加 LoRa 适配器或导入第三方模型，所有这些都集中在其模型文件系统中。这使其成为小众项目或专业研究的非常灵活的基础。
Ollama 的实际运作方式
Ollama 内部会创建一个隔离的环境，其中包含运行模型所需的一切：权重、配置文件、库和依赖项。从用户的角度来看，您只需考虑所需的模型，而无需关心其编译方式或所需的 CUDA 版本。
典型流程很简单：首先，您需要下载模型。 ollama pull <nombre_modelo>然后你用它运行它 ollama run <nombre_modelo> 之后，您可以通过编写提示信息与它进行交互。您可以直接在控制台中执行此操作，也可以通过它公开的 HTTP API 执行此操作。 localhost:11434.
Ollama 会尝试利用可用且兼容的 GPU（NVIDIA、AMD、Apple Silicon，通过 Metal 实现）。否则，它会依赖 CPU。在配备现代独立 GPU 的系统上，你会注意到性能的显著提升，尤其是在使用大型 GPU 时。不过，它也可以仅使用 CPU，通过调用量化的 GPU 版本来降低内存消耗。
在 macOS 和 Windows 系统上，Ollama 会安装为一个在后台运行的应用程序，并添加该命令。 ollama 在 Linux 系统中，它通常作为 systemd 服务运行，或者运行在 Docker 容器中，具体取决于您的偏好。在更复杂的环境中，或者当您想要隔离依赖项时， 使用泊坞窗 这很常见
无论您的系统配置如何，请记住内存和磁盘空间至关重要。对于 7B 型号，您至少需要 8GB 内存；对于 13B 型号，16GB 内存更佳；如果您选择 30B 或 70B 这样的巨型机型，则需要 32GB 或更多内存。存储容量方面，小型量化版本通常配备 2-3GB 存储空间，而大型版本则配备数十 GB 存储空间。
模型管理和基本 CLI 命令
安装完成后，Ollama 的强大之处在于其命令行界面。虽然乍一看可能有点吓人，但关键命令很容易上手，几乎涵盖了你日常所需的所有操作。
要下载新模板，您可以使用 ollama pull <modelo>名称通常遵循以下模式 familia:etiqueta， 例如 llama3.2, mistral:7b o phi4-mini如果忽略标签，Ollama 通常会出售最新的“推荐”版本。
当你想开始一场互动对话时，你运行 ollama run <modelo>如果模型尚未下载，程序将首先自动下载。在此交互模式下，您可以编写提示信息并使用特殊的斜杠命令，例如： /set parameter temperature 0.7 改变创造力或 /bye 出去。
要查找计算机上已安装的模型，可以使用以下命令： ollama list它会显示名称、大小和修改日期。如果您想释放空间，可以删除其中一个文件。 ollama rm <modelo>如果您想查看当前加载到内存中的模型以及它们使用的是 CPU 还是 GPU，您可以使用…… ollama ps.
当您需要详细检查特定型号时， ollama show <modelo> 它会显示模型的配置信息：架构、上下文窗口、默认参数、提示模板，甚至如果您使用相应的选项请求，还会显示模型文件的内容。这是一种非常便捷的方式，可以帮助您了解模型的行为原因。
Ollama中最常用的模型及其用途
Ollama 并不局限于单一的 LLM 模型：它提供了一个庞大的模型库，其中包含专为各种用途设计的模型。许多模型可以通过自定义配置文件或适配器进行进一步定制，但它们开箱即用的功能已经能够满足广泛的需求。
例如，Llama 3.2是一款功能全面的优秀工具。它可用于生成通用文本、编写文本、聊天、翻译和文档摘要。凭借其出色的多语言支持，它非常适合创建能够流利理解和生成西班牙语的客户服务聊天机器人、推荐系统或助手。
如果你喜欢编写代码，那么像Code Llama或 Mistral 的编程版本这样的工具正是为此而设计的。它们可以用来生成函数、代码审查、提出重构建议、创建单元测试，甚至构建完整的 API。许多开发者会将它们直接集成到编辑器或终端工作流程中。
在视觉领域，像LLaVA这样的模型具备多模态功能：你可以同时输入图像和文本，并获得描述、照片内容相关问题的答案，以及视觉内容分析结果。这为电子商务、数字营销和医学图像分析等领域打开了大门。
对于更偏学术性和科学性的任务，像Phi-3（以及 Phi 系列的后续模型）这样的模型会使用大量的研究文献进行训练。它们通常在总结科学文章、辅助撰写最新综述、比较研究或从长篇文本中提取关键思想方面表现出色。
总之，如果您不确定从何入手，Ollama 的模型库提供了包含安装说明、常见用例和自定义选项的资料单。通常的做法是尝试几种模型，然后选择最适合您的硬件和最常执行的任务的模型。
实际应用案例：从私人聊天机器人到研究
除了理论层面，Ollama 的真正价值在于实际应用。它最常见的用途之一是构建完全运行在本地服务器上的聊天机器人，无需将任何对话发送给第三方。这对于处理敏感客户数据或内部记录的公司来说尤其有用。
在这些应用中，Ollama 通常与现有系统集成，例如内容管理系统 (CMS)、客户关系管理系统 (CRM) 或内部应用程序。例如，内容管理系统可以使用本地模型来建议标题、重写段落或推荐相关内容，所有操作均无需离开企业环境。同样，客户关系管理系统也可以利用模型来总结客户互动或建议后续步骤。
在学术界和医疗保健领域，许多研究团队开始使用 Ollama处理受 HIPAA 或 GDPR 等法规保护的临床或实验数据集。他们将数据上传到本地实例，尝试不同的统计分析模型、生成图表或撰写文章，并确保其基础设施之外的任何人都无法访问这些信息。
另一个强大的应用是创建以隐私为中心的AI应用。常见的例子包括律师事务所的合同分析，或者不信任外部服务的公司处理内部文档。由于所有操作都在公司内部网络运行，因此更容易证明符合监管要求并保持对数据流的控制。为了进一步增强内部网络安全，许多团队会将这些部署与本地DNS服务器结合使用。
最后，还有一整个用户生态系统，他们将 Ollama 与 Open WebUI 等第三方图形界面结合使用，这些界面提供类似 ChatGPT 的体验，但连接到您的本地服务器。这样，您就可以将现代 LLM 的强大功能与您自己的文档搜索功能（RAG）、多用户帐户以及与其他工具的集成相结合，所有这些都可以在您自己的基础设施上完成。
使用模型文件进行高级配置、API 和自定义
掌握了基本命令之后，下一步自然是探索 Ollama 的更高级功能：HTTP API 和模型文件系统。这些功能允许您微调模型、协调来自应用程序的调用，并在非常精细的层面上优化行为。
该API集成在服务器本身中，并公开了诸如以下的端点： /api/generate （完成文本） /api/chat （与历史对话） /api/embeddings （生成向量嵌入）或 /api/tags （列出模型）。您可以使用它 curl、HTTP 库或 OpenAI SDK 目标 localhost:11434/v1因为存在与 OpenAI API 风格的兼容层。
与此同时， 模型文件 这些是描述模型构建或修改方式的文本文件：它基于哪个基础模型，应用了哪些 LoRa 适配器，使用了哪个提示模板，它有哪些默认参数，或者设置了哪些系统消息。 ollama create 您可以根据这些文件生成自定义模型。
例如，您可以导入 GGUF 或 Safetensors 格式的外部模型，应用量化来减小模型大小，添加特定的响应风格，或集成针对特定领域（例如医学术语或法律术语）训练的适配器。最终生成一个具有自定义名称的新模型，您可以像使用官方库中的任何其他模型一样运行或共享它。
那些需要榨取每一分资源的人，可以利用一系列推理参数： 温度、top_p、top_k、预测次数、ctx 次数、重复惩罚 以及更多。控制上下文窗口（num_ctx）在处理长文本或非常长的对话时尤其重要，因为它决定了模型“记住”你之前说过的话的程度。
最后，Ollama 允许您定义诸如OLLAMA_HOST、OLLAMA_MODELS 和 OLLAMA_NUM_PARALLEL 之类的环境变量，以调整 API 监听的位置、模型存储路径、并行处理的请求数量以及模型的加载时间。在共享服务器或生产环境中部署该工具时，这种微调至关重要。
通过将所有这些功能整合在一起——本地执行、模型库、与现有工具兼容的 API 和自定义系统——Ollama 成为任何想要在自己的基础设施上认真使用生成式 AI 的人的核心组件，无论基础设施是普通的笔记本电脑还是更强大的集群。
