人工智能安全：风险、威胁及应对方法

信息技术数字 » 资源 » 人工智能安全：风险、威胁及应对方法

人工智能已经渗透到我们生活的方方面面：从工作和沟通方式到金融、医疗和军事决策。这种巨大的影响力既有积极的一面，也有阴暗的一面：如果这些系统出现故障、被操纵或被恶意利用，无论对企业还是对整个社会，都可能造成巨大的损害。

近年来，随着人工智能的普及应用，公众对其风险的担忧也日益加剧。近期调查显示，大多数人对人工智能的扩展感到不安而非热情，许多民众认为，如果人工智能失控，可能会引发灾难性事件。与此同时，纯粹的技术研究仍然主要集中在提升人工智能的性能上，只有相对较少的资源用于增强其安全性和稳健性。

人工智能安全指的是什么？为什么它如此重要？

当我们谈论人工智能安全时，我们指的是一系列方法、技术原则、网络安全控制措施和治理框架，旨在确保人工智能系统稳健、可预测、能够抵御攻击并与人类目标保持一致。这既包括传统的保护措施（例如防止网络攻击、数据泄露或模型篡改），也包括更广泛的问题，例如偏见、缺乏透明度以及潜在的系统性影响。

对于企业和政府机构而言，人工智能安全至关重要，因为越来越多的关键决策都委托给了模型：金融风险评估、医疗优先级排序、简历排名、大数据分析、流程自动化和威胁检测。严重的故障、后门或恶意使用都可能导致数百万美元的损失、监管处罚、声誉损害，在最坏的情况下，甚至会威胁国家安全。

在社会层面，如果控制不当，人工智能可能会加剧不平等和滥用权力。不透明的系统或使用带有偏见的数据训练的系统可能会系统性地歧视特定群体，强化大规模监控，或助长大规模虚假信息传播。展望未来，人工智能发展到通用人工智能（AGI）乃至超级智能（ASI）的可能性，引发了关于这些系统若不符合人类价值观且无法有效控制，将会带来哪些生存风险的讨论。

专家们对于哪些风险最为紧迫或最有可能发生存在分歧，但普遍认为，出现非常糟糕后果的概率不容忽视。对人工智能研究人员的调查估计，由先进人工智能引发的极端负面情景（例如文明崩溃）的概率约为5%。一些人认为这些担忧被夸大了，而另一些人则认为，正因为这些风险如此严重，所以明智的做法是预先防范，而不是“亡羊补牢”。

从早期预警到现代人工智能安全议程

尽管智能自动化的风险看似是一个新近出现的话题，但自计算机诞生之初，人们就一直在讨论它。早在20世纪中期，像诺伯特·维纳这样的人物就警告说，如果我们赋予机器自主权，使其能够从经验中学习，那么我们也必须承担它们违背我们意愿的风险。

随着时间的推移，这些担忧变得更加具体。在2000世纪初，像AAAI这样的专业协会开始推动对人工智能长期社会影响的研究。总体而言，他们对科幻作品中那些更具灾难性的论断持怀疑态度，但同时也承认需要更好的方法来验证复杂系统并最大限度地减少意外结果。

进入2010年代，这场辩论愈演愈烈。一些关于超级智能和生存风险的颇具影响力的著作促使新的研究中心成立，致力于研发“有益于人类且对人类友好的”人工智能。与此同时，一些慈善项目也应运而生，资助有关技术安全、社会影响和目标一致性等方面的具体研究。此外，埃隆·马斯克、比尔·盖茨和斯蒂芬·霍金等公众人物也开始公开谈论，如果人工智能在缺乏安全保障的情况下发展，将会带来严重的风险。

国际会议相继召开，针对“特定人工智能安全问题”的研究议程相继发布，诸如阿西洛马原则之类的原则也相继制定，其中包括明确的建议：团队间合作以避免降低安全标准、影响分析、尽可能保持透明等等。这项工作逐渐形成了一个独立的领域：人工智能安全工程，其目标是在系统大规模部署之前预测故障并设计出尽可能安全的系统。

近年来，各国政府和监管机构纷纷加入到人工智能安全领域的努力中来。白宫组织的研讨会、美国各机构（如国防高级研究计划局、工业高级研究计划局、国家科学基金会）的项目、英国的国家人工智能战略以及中国的伦理准则都表明，人工智能安全不再仅仅是一个学术话题，而是一个公共政策问题。在欧洲，《人工智能法案》对某些用途（例如大规模人脸识别或潜意识操纵）做出了明确的限制，并对“高风险”应用规定了额外的义务。

关键技术领域：稳健性、监控和一致性

人工智能安全研究通常分为三大领域：鲁棒性、监控和一致性。每个领域都针对不同类型的风险，但实际上它们密切相关。

鲁棒性是指人工智能系统在各种情况下都能合理运行，包括那些在训练数据中代表性不足的情况。这涉及到应对“黑天鹅”事件（罕见但破坏性极大的事件）以及人为操纵输入以强制系统出错的攻击。

2010年的闪电崩盘就是一个典型的例子，它暴露了系统在面对罕见事件时缺乏稳健性的问题。当时，自动交易系统对市场异常反应过度，在短短几分钟内就蒸发了近万亿美元。在现实世界中，自动驾驶汽车也仍在努力应对各种“极端情况”：例如异常的交通信号、极端天气条件，或者现实世界数据中极少出现的物体组合。

与此同时，许多深度学习模型已被证明极易受到对抗样本的影响：图像、音频或文本中微小的扰动，人眼几乎无法察觉，却能可靠地导致分类错误。这会影响视觉系统、语音识别和语言模型。更糟糕的是，这不仅仅是欺骗“主”模型的问题：用于训练其他模型的奖励或评估模型本身也可能被利用来人为地提高分数，而实际上并未提升模型在预期任务上的性能。

监控旨在及早发现人工智能系统何时出现故障、遭受攻击或被滥用。它包括置信度校准（确保模型输出的概率能够准确反映其可靠性）、分布外检测（当系统遇到与以往经验“过于不同”的情况时）以及对潜在恶意用途的监控。

最后，一致性确保最先进的系统，尤其是那些能够做出高影响力决策或具备自主行动能力的系统，追求我们认为可接受的目标，并且不会为了实现这些目标而制定危险的策略。这涉及到工具性趋同（高级智能体倾向于寻求相似的中间目标）以及高能力与高度自主性相结合时可能出现的失控风险等概念。

模型中的透明度、可解释性和特洛伊木马

最大的挑战之一是，许多现代人工智能系统，尤其是大型神经网络，就像真正的黑箱一样运行。我们知道它们的输入和输出，但要理解它们为什么会做出某个特定的决定，或者它们实际使用的内部模式是什么，却远非易事。

这种缺乏透明度的做法与信贷、人员选拔和司法系统等领域的法律和道德要求直接冲突，在这些领域，必须解释为何录取或拒绝某人。这也使得调查严重失误变得困难：例如，在自动驾驶车辆造成致命碰撞等事故中，有时很难还原导致感知或决策错误的内部信号组合。

正因如此，可解释性和透明性技术这一子领域应运而生。一些研究侧重于展示模型“关注”输入的哪些部分（例如，哪些像素或词语对输出影响最大），而另一些研究则更深入，分析神经元之间的内部表征和连接。在CLIP等模型中，研究人员已经识别出对“蜘蛛”一词和蜘蛛侠图像均有反应的神经元；而在语言转换器中，研究人员则研究了似乎编码句法规则或事实关联的注意力模式和循环回路。

除了有助于理解和调试之外，这些技术还允许进行针对性的模型编辑。例如，可以定位与特定事件相关的参数（例如，著名古迹所在的城市），并对其进行修改以系统地改变模型的响应。尽管这些实验表明，这种方法也会引入误差，但同样的方法也可用于纠正大量误差，而无需从头开始重新训练模型。

另一个敏感问题是人工智能模型中的木马或后门。这指的是在训练过程中，有人植入了一种特定的模式，当这种模式出现在输入数据中时，会触发与正常情况不同的行为。例如，人脸识别系统只允许佩戴特定饰品的人访问，或者自动驾驶汽车如果检测到路标上的特定贴纸就会鲁莽驾驶。

令人担忧的是，即使只篡改训练数据的一小部分，也足以植入有效的木马程序。由于许多模型都是基于大量公开数据进行训练的，因此攻击者有可能污染部分数据集。这些木马程序本身就是一种漏洞，同时也为开发更好的工具来审计和检测隐蔽的恶意行为提供了理想的试验场。

结构性风险、竞争与全球治理

除了具体的攻击或孤立事件之外，人工智能生态系统的组织方式还存在系统性风险：公司和国家之间的竞争压力、缺乏安全文化、尽快发布产品的经济动机以及网络攻击者和防御者之间的不对称性。

一些分析人士指出，仅仅关注“技术故障”或“个人误用”是不够的，因为导致灾难的因果链要长得多。冷战时期的地缘政治动态——少数人的决策可能导致核冲突的爆发或加剧或缓解——常被用来类比在混乱的人工智能系统研发竞赛中可能出现的后果。

人们反复担忧的是所谓的“竞相走向深渊”：如果私人或国家行为体认为抢占先机（经济、军事或声望方面）能带来显著优势，他们就可能被迫加快步伐并削减安全管控，即便所有人都承认缓慢推进更为可取。避免这种局面需要建立合作机制、相互透明、就最低标准达成一致，并且很可能需要设立新的国际机构。

与此同时，当今许多全球性挑战本质上都是合作问题：气候变化、核风险、网络武器等等。人工智能可能会加剧这些挑战（例如，助长更强大的网络攻击或高度复杂的政治操纵活动），但它也能通过提供更好的预测、情景分析和集体决策工具来提供帮助。

因此，人工智能治理领域应运而生，旨在阐明监管框架、技术标准、最佳商业实践和问责机制。其内容涵盖广泛，从比较人工智能与以往变革性技术（例如电力或蒸汽机）潜在影响的基础性研究，到非常具体的提案：外部审计、漏洞赏金计划、公共事件数据库、决定何时发布结果或模型的标准，以及对领先实验室的更高安全要求。

网络安全的作用：人工智能用于防御和保护人工智能自身

在实际的日常生活中，人工智能已经成为网络安全的核心参与者，而且这种关系是双向的：我们使用人工智能来更好地保护自己，同时我们也必须保护人工智能系统本身免受攻击。

近几十年来，网络威胁已从寻求造成可见的干扰演变为窃取数据、持续数月渗透系统以及部署高度隐蔽的恶意软件。为了应对这些威胁，诸如安全信息和事件管理 (SIEM)（用于收集和分析大量日志）以及端点检测与响应 (EDR)（用于持续监控企业中每台设备上的活动）等解决方案已变得非常流行。问题在于，数据量远远超出了人工团队能够手动审查的范围。

机器学习正是在这种情况下发挥作用，它能够从海量信号中实时检测模式和异常情况：不寻常的登录尝试、未经授权访问敏感数据、奇怪的进程行为或与可疑域的连接。

安全领域的AI平台还用于自动化部分响应流程：关联相关警报、重构攻击“叙事”、确定事件优先级，并在某些情况下直接执行遏制措施（隔离机器、切断连接、撤销被盗凭证）。这可以减少干扰信息，帮助分析人员专注于关键事项，并显著缩短从发现问题到采取有效措施的时间。

与此同时，同样的技术进步也被应用于网络和终端的安全防护。新一代防火墙集成了能够分析流量恶意行为的模型，可以动态更新内部规则，或重新配置网络分段以限制攻击者的横向移动。人工智能增强型端点检测与响应 (EDR) 系统能够在损害变得不可逆转之前检测到异常进程行为（例如对敏感文件的意外访问或勒索软件典型的执行链）。

此外，网络安全工具中集成的自然语言助手也日益普及。这些人工智能助手如同安全团队的副驾驶，使他们能够提出复杂的问题（例如“此数据库存在哪些攻击路径？”），并获得上下文相关的解释、事件摘要或缓解方案，而无需手动浏览多个仪表板。

攻击者如何利用人工智能

不幸的是，网络犯罪分子也已蜂拥而至地开始使用人工智能。在地下论坛上，每一个强大的新模型都会被分析，并衍生出各种修改版本，其中一些明确针对犯罪活动，剥离了道德约束，并被训练成“黑客助手”。

如今，利用生成模型来自动化犯罪行动的几乎所有阶段都相对容易：批量编写完美无瑕且个性化的网络钓鱼电子邮件，创建非常可信的虚假登录页面，生成勒索软件脚本或工具包来窃取凭据，编写用于社会工程的劝诱性信息等等。

另一个令人担忧的方面是人工智能制造极其逼真的虚假内容的能力。文本生成工具可以制作模仿专业媒体风格的虚假文章和新闻报道；像深度伪造这样的视频生成系统可以替换高质量视频片段中的人脸；而语音克隆技术只需几分钟的音频就能重现一个人的声音。

利用克隆家庭成员声音进行电话诈骗以诱骗汇款的案例已屡见不鲜；此外，政治抹黑运动和社交媒体操纵也屡见不鲜，这些手段结合了篡改的视频、虚假音频和机器人程序来扩大信息传播。这些工具的成本逐年下降，提高了攻击者的投资回报率。

简而言之，人工智能成倍增强了攻击能力：它使复杂的攻击更容易、更便宜，使得大规模攻击成为可能，同时也增加了区分真实信息和篡改信息的难度。因此，将人工智能用于防御已不再是可选项：如果没有自动化和智能，人类团队根本无法应对。

人工智能特有的关键安全风险

除了普遍存在的网络安全风险之外，人工智能系统的部署还会带来一些自身特有的漏洞，这些漏洞必须被理解和管理。其中一些最相关的漏洞包括：

数据和模型投毒。将恶意或篡改的数据引入训练集会扭曲模型行为、植入后门或降低性能，而这些影响在标准指标中却难以察觉。在联邦学习环境中，由于多个参与者共同贡献训练数据，检测哪个参与者故意引入了噪声尤其具有挑战性。

对抗样本和规避。攻击者通过设计略微修改的输入来触发系统性错误，从而绕过恶意软件检测系统、垃圾邮件过滤器、图像分类器或生物特征认证机制。由于模型“认为”输入是正常的，因此仅使用传统规则很难缓解这类攻击。

模型逆向推导和隐私泄露。攻击者通过反复查询和输出分析，可以重构训练数据的信息，甚至可以推断出特定记录是否包含在内，或者提取模型存储的敏感数据片段。当使用个人信息、临床信息或机密信息进行训练时，这会构成严重的安全隐患。

模型和知识产权被盗。通过大规模查询人工智能应用程序接口（API），攻击者可以训练出一个与原模型行为高度相似的仿冒模型。这不仅破坏了人工智能服务提供商的商业模式，而且还创建了一个攻击者可以完全控制的复制模型，包括不受限制地利用漏洞。

针对应用程序接口和基础设施的攻击。连接人工智能模型与其他应用程序的接口是一个非常诱人的入口点：薄弱的身份验证、缺乏输入验证、缺少频率限制或监控都可能导致从拒绝服务攻击到大规模数据提取或远程代码执行等各种攻击。

生成式人工智能中的指令注入和滥用。对于语言模型和生成式助手而言，一种新兴的攻击途径是直接或间接的指令注入。攻击者可以将恶意命令嵌入输入文本本身（例如“忽略之前的规则……”）或模型将要读取的外部文档中，目的是绕过约束、窃取数据或执行非预期操作。

利用幻觉。生成模型可以轻而易举地捏造数据。如果这些系统在关键情况下缺乏人为监督地使用，或者攻击者设法将某些幻觉合法化为“事实”，就会导致错误决策、虚假信息传播，并造成公众对数字信息的信任度普遍下降。

更安全的AI框架、标准和最佳实践

为了避免盲目摸索，各个组织都提出了针对人工智能安全的具体框架。虽然没有哪个框架能够单独涵盖所有方面，但它们结合起来可以为构建战略提供坚实的基础。

其中，NIST人工智能风险管理框架尤为突出，它围绕四个功能构建工作框架：治理（制定政策和职责）、映射（理解背景和风险）、衡量（评估性能和风险敞口）以及管理（确定优先级并应用控制措施）。其他一些工具，例如MITRE ATLAS矩阵，则对针对人工智能系统的具体攻击策略和技术进行分类，类似于ATT&CK对传统威胁的处理方式。

在应用领域，安全社区已经制定了诸如OWASP Top 10 for LLM之类的列表，其中汇总了基于大型语言模型的应用程序的主要风险：提示注入、数据泄露、模型供应链中的漏洞、模型窃取等。主要供应商也发布了自己的框架（例如 Google 的 SAIF），其中包含更安全地部署 AI 系统的具体步骤。

此外，针对在云环境中部署全息人工智能（GenAI），涌现出许多高度具体且实用的方法，例如租户和用户隔离框架，这些框架能够精细地划分数据、权限和通信通道，从而降低潜在故障或注入的影响。其理念是将传统的网络安全控制措施（加密、身份管理、网络分段、沙箱）与针对人工智能特定特性量身定制的措施相结合。

基于此，最常被提及的建议包括确保训练数据的质量和多样性，直接解决伦理问题（偏见、同意、隐私），进行频繁的模型测试和更新，以及制定补充一般信息通信技术政策的人工智能专用安全政策。

与此同时，一种被称为AI 安全态势管理 (AISPM)的解决方案正在兴起，它相当于云安全态势管理 (CSPM) 的意义：清点 AI 资产、发现未经授权的使用（“影子 AI”）、评估配置以及持续监控策略合规性。

种种迹象表明，随着人工智能与关键基础设施的融合日益加深，人工智能安全将从“锦上添花”转变为一项基本要求。那些抢占先机的组织——例如，对自身的人工智能系统进行盘点、制定清晰的治理框架、实施严格的访问控制、对模型进行对抗性测试，并与公认的框架保持一致——将更有能力充分利用人工智能的优势，避免遭遇意想不到的麻烦。更重要的是，在真假难辨的环境中，它们将更有能力维护客户、用户和公众的信任。