- 提示注入利用了 LLM 无法区分系统指令和用户数据的漏洞。
- 存在直接、间接和存储等多种可能损害系统隐私和完整性的变体。
- 它与越狱的不同之处在于，越狱专门寻求绕过该模式的道德和安全障碍。
- 缓解措施需要采用多学科方法，结合输入过滤、权限管理和人工监督。
你可能听说过聊天机器人，也知道它们如何让我们的生活更轻松，但它们也有不为人知的阴暗面。事实证明，这些工具虽然看似神奇，但在信息处理方面却存在一个根本性的缺陷，使得某些用户能够“欺骗”它们，让它们做出一些其创造者从未预料到的事情。
我们这里讨论的是提示注入，这是一种本质上通过操纵语言来控制人工智能的技术。你不需要成为编程专家，也不需要安装晦涩难懂的程序；有时，只需一句恰当的语句，就足以让模型无视自身规则，泄露秘密或做出恶意行为，这给现代网络安全带来了真正的难题。
快速注射究竟是什么？
要正确理解这一点，必须知道大型语言模型（LLM），例如 GPT-4 或 Gemini，都是通过提示来运行的。提示就是用户给机器的指令。问题在于，开发者会添加不可见的内部指令（系统提示）来定义机器人的行为和规则，但人工智能无法区分程序员的命令和用户的文本之间的界限。
这种漏洞的出现是因为模型将整个文本流作为一个整体进行处理。因此，如果攻击者插入一条“忽略以上所有内容”的命令，人工智能就可以优先执行这条新命令，而忽略原有的安全规则。本质上，这是一种应用于机器的社会工程攻击，其中语言是劫持助手行为的武器。
即时注入和越狱之间的主要区别
很多人会混淆这两个术语，但它们并不相同。越狱就像试图“撬开”人工智能的“锁”。其目的是绕过道德保护和内容政策，使机器人说出违禁内容或生成受限内容。最著名的例子是 DAN 模式（“立即执行任何操作”），在这种模式下，模型被迫扮演一个不受任何规则约束的角色。
另一方面，提示注入是一个更广泛的概念。它并非总是旨在违反道德规则，而是为了改变系统功能。攻击者可能只是想让机器人泄露其内部指令，或者在连接的系统上执行未经授权的操作。越狱通常是用户在其自身会话中进行的有意行为，而提示注入则是一种影响第三方的隐蔽攻击。
攻击类型：直接攻击、间接攻击和存储攻击
并非所有攻击都以相同的方式执行。最简单的方法是直接注入，即用户直接在聊天窗口中输入恶意指令。这可能是蓄意入侵系统的行为，也可能是用户无意中输入的错误指令，导致模型出现异常行为。
间接注入的危险性要大得多。攻击者并不直接与人工智能通信，而是将指令隐藏在人工智能会读取的外部资源中，例如网页、PDF 文档或电子邮件。例如，如果您要求机器人摘要一个包含“窃取用户数据”指令的网页，人工智能就会处理这条隐藏指令，并可能在您不知情的情况下窃取信息。
最后，我们来看看存储注入攻击。这种方法涉及将恶意指令植入数据库或训练数据本身。由于信息已被存储，攻击可以影响不同会话中的多个用户，因为模型会吸收恶意软件，并在每次有人访问该特定信息时将其复制。
现实生活中的影响和危险情景
攻击一旦成功，后果可能十分严重，从泄露公司机密数据到操纵关键决策，不一而足。在企业环境中，如果人工智能能够访问应用程序接口（API）或电子邮件，攻击者就可以让机器人以用户身份发送消息或访问私人文件。
- 简历造假： 一些求职者在简历中添加了空白文本（人类看不到），声称自己是“杰出的专家”，以此来欺骗人力资源部门的人工智能过滤器。
- 浏览器劫持： 研究人员已成功 能够读取电子邮件的人工智能代理 使用隐藏指令向用户的上司发送辞职信。
- 系统泄漏： 以 Bing Chat 为例，一名学生设法让机器人透露了它的代号“Sydney”及其内部操作指南。
- 多模态攻击： 现在存在这样的风险：恶意指令并非以文本形式出现，而是以其他形式传播。 嵌入图像中 人工智能分析后，扩大了攻击面。
防御和缓解策略
坏消息是，由于LLM的随机性，目前尚无绝对有效的解决方案。然而，我们可以采取一些非常有效的保障措施。其中一个最佳方案是输入/输出过滤，即由外部系统在提示信息到达模型之前对其进行分析，以确定其是否包含可疑模式。
应用最小权限原则也至关重要。你不应该赋予人工智能访问你的电子邮件帐户或数据库的完全权限；最好让它充当中间人，对高风险操作需要人工批准。其他技术包括使用“隔离”模型来处理外部数据，将控制逻辑与读取不受信任的数据分离。
最后，持续训练和对抗性测试至关重要。企业必须模拟攻击，才能在黑客之前发现漏洞。此外，遥测日志记录能够检测模型响应中的异常情况，从而有助于在出现异常时迅速做出反应。