AI代理的安全隐患:微软Copilot Actions引发安全专家担忧

1

微软近日发布警告称,其最新集成到Windows系统中的实验性AI代理功能Copilot Actions存在安全风险,可能感染设备并窃取敏感用户数据。这一消息立即引发了安全专家的广泛批评和质疑,人们不禁要问:为什么大型科技公司如此热衷于在充分理解和控制危险行为之前就急于推广新功能?

Copilot Actions:便利与风险并存

根据微软周二发布的公告,Copilot Actions是一套"实验性代理功能",启用后能够执行"日常任务,如整理文件、安排会议或发送邮件",并提供"一个积极的数字协作者,可以为您执行复杂任务以提高效率和生产力"。

然而,伴随着这一功能的隆重推出,微软也附上了一个重要的警示:仅当用户理解其中概述的安全含义时,才应启用Copilot Actions。这一警告基于大多数大型语言模型(包括Copilot)中存在的固有缺陷,研究人员已经多次证明了这些缺陷。

AI代理的核心安全风险

幻觉:不可信任的AI输出

大型语言模型的一个常见缺陷是它们会提供事实错误和逻辑荒谬的答案,有时甚至是对最基本的问题也是如此。这种被称为"幻觉"的倾向意味着用户不能信任Copilot、Gemini、Claude或其他任何AI助手的输出,而必须独立验证其结果。

提示注入:隐蔽的攻击向量

另一个常见的AI"地雷"是"提示注入",这是一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。AI模型被编程为急切地遵循指令,以至于无法区分用户提示中的有效指令和攻击者创建的不可信第三方内容中的指令。因此,AI模型对攻击者和用户给予同等的尊重。

这两种缺陷都可以被利用于执行数据泄露、运行恶意代码和窃取加密货币等攻击。迄今为止,这些漏洞已被证明开发者无法预防,在许多情况下,只能在发现漏洞后使用特定于漏洞的变通方法进行修复。

微软的安全策略与专家反应

微软在其公告中坦诚承认:"随着这些功能的引入,AI模型在行为方面仍然存在功能限制,偶尔可能会产生幻觉并产生意外输出。此外,代理AI应用引入了新的安全风险,如跨提示注入(XPIA),其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令,导致数据泄露或恶意软件安装等意外行动。"

微软表示,只有经验丰富的用户才应该启用Copilot Actions,该功能目前仅在Windows的测试版中可用。然而,该公司没有描述这些用户应具备什么样的培训或经验,或者他们应该采取什么措施来防止设备被入侵。

"超级英雄级别的宏病毒"

一些安全专家质疑周二公告中警告的价值,将其与微软几十年来关于Office应用中宏危险的警告进行比较。尽管长期以来一直有这样的建议,宏仍然是黑客试图在Windows机器上秘密安装恶意软件时最容易得手的目标之一。这是因为微软使宏对生产力如此重要,以至于许多用户无法不使用它们。

独立研究员凯文·博蒙特(Kevin Beaumont)表示:"微软说'不要启用宏,它们很危险'...从来效果不佳。这就像是超级英雄级别的宏病毒。"

博蒙特经常被雇用在企业内部处理重大的Windows网络入侵事件,他还质疑微软是否将为管理员提供适当限制最终用户机器上Copilot Actions的方法,或识别网络中已启用该功能的机器。

微软发言人表示,IT管理员将能够使用Intune或其他MDM(移动设备管理)应用在账户和设备级别启用或禁用代理工作区。

检测困难与用户责任

批评者提出了其他担忧,包括即使是经验丰富的用户也难以检测针对他们使用的AI代理的利用攻击。

研究员纪尧姆·罗索利尼(Guillaume Rossolini)说:"我看不出用户将如何防止他们所指的任何事情,除非不浏览网络。"

微软强调,Copilot Actions是一个默认关闭的实验性功能。这种设计可能是为了限制其访问那些有经验理解其风险的用户。然而,批评者指出,先前的实验性功能(例如Copilot)随着时间的推移 regularly 成为所有用户的默认功能。一旦完成,不信任该功能的用户通常需要投入时间开发不受支持的方式来移除这些功能。

声明 lofty 的安全目标

微软周二的公告大部分内容集中在微软保护Windows中代理功能的整体战略上。此类功能的目标包括:

  • 不可否认性,即所有行为和行动必须"可观察且可区分于用户采取的行动"
  • 代理在收集、聚合或以其他方式利用用户数据时必须保持机密性 n* 代理在访问用户数据或采取行动时必须获得用户批准

这些目标听起来很合理,但最终它们依赖于用户阅读警告风险的对话框并在继续操作前仔细批准。这反过来又降低了保护措施对许多用户的价值。

加州大学圣地亚哥分校专攻AI安全的教授厄伦斯·费尔南德斯(Earlence Fernandes)告诉Ars:"对于此类依赖用户点击通过权限提示的机制,通常的警告仍然适用。有时这些用户不完全发生了什么,或者他们可能只是习惯了,总是点击'是'。在这种情况下,安全边界实际上并不是真正的边界。"

正如"ClickFix"攻击浪潮所证明的那样,许多用户可以被诱骗遵循极其危险的指令。虽然更有经验的用户(包括相当数量的Ars评论者)会指责成为此类骗局受害者的用户,但这些事件的发生是不可避免的,原因有很多。在某些情况下,即使是谨慎的用户也会因为疲劳或情绪困扰而失误。其他用户 simply 缺乏做出明智决定的知识。

责任转移与行业现状

批评者米德克(Mideke)表示,微软(就像行业中的其他公司一样)不知道如何阻止提示注入或幻觉,这使其从根本上不适合任何严肃的应用。"解决方案?将责任转移给用户。就像每个LLM聊天机器人都有'顺便说一下,如果您将其用于任何重要的事情,请务必验证答案'的免责声明一样,忘了如果您已经知道答案,您首先就不需要聊天机器人。"

正如米德克所指出的,大多数批评也适用于其他公司——包括苹果、谷歌和Meta——将其集成到产品中的AI产品。这些集成通常开始作为可选功能,最终成为所有用户的默认功能,无论用户是否想要。

未来展望:AI安全与实用性的平衡

随着AI技术继续深入我们的日常生活和工作环境,安全与实用性的平衡将成为一个关键问题。微软的Copilot Actions案例凸显了这一挑战:AI代理能够显著提高生产力,但同时也带来了前所未有的安全风险。

企业和个人用户需要更加警惕,了解AI工具的局限性,并采取适当的预防措施。同时,科技公司需要承担起更大的责任,在推出新功能前进行更严格的安全测试,并提供更清晰、更有效的用户指导。

最终,AI安全不仅需要技术解决方案,还需要用户教育、行业标准和监管框架的共同作用。只有多方合作,我们才能在享受AI带来便利的同时,最大限度地降低其潜在风险。

AI安全风险

AI技术如Copilot Actions在提高生产力的同时,也带来了新的安全挑战

结论

微软Copilot Actions的警告引发了关于AI安全的重要讨论。随着AI技术越来越深入我们的数字生活,企业和个人都需要更加关注其潜在风险。科技公司需要在创新与安全之间找到平衡点,而用户则需要提高警惕,了解AI工具的局限性,并采取适当的预防措施。只有通过共同努力,我们才能在享受AI带来便利的同时,确保数字环境的安全与稳定。