微软近日发布警告，称其Windows系统中集成的实验性AI代理功能Copilot Actions可能导致设备感染和数据窃取，这一消息立即引发了安全专家的广泛质疑。这一事件不仅揭示了当前AI代理技术面临的安全挑战，也引发了关于科技公司在推出新功能与保障用户安全之间如何平衡的深刻讨论。
微软的警告与Copilot Actions功能
在11月20日的一份公告中，微软提醒用户，其最新引入的Copilot Actions实验性AI代理功能存在安全风险，可能导致设备感染和数据泄露。Copilot Actions被描述为一套"实验性代理功能"，启用后能够执行"日常任务，如整理文件、安排会议或发送邮件"，并提供"一个积极的数字协作者，可以为您执行复杂任务以提高效率和生产力"。
尽管微软强调Copilot Actions目前默认处于关闭状态，但公司也明确表示，"只有当您理解概述的安全含义时"才建议用户启用此功能。这一警告基于大多数大型语言模型（包括Copilot）中存在的固有缺陷，研究人员已经多次证明了这些缺陷可以被利用。
AI代理的核心安全风险
幻觉现象的不可靠性
大型语言模型的一个常见缺陷是它们经常提供事实错误且不合逻辑的答案，有时甚至是对最基本的问题也是如此。这种行为被称为"幻觉"，意味着用户不能完全信任Copilot、Gemini、Claude或其他AI助手的输出，而必须独立验证其结果。
在Copilot Actions的上下文中，幻觉可能导致严重后果。例如，如果AI代理错误地识别或执行文件操作，可能会删除或移动重要数据；如果错误地安排会议，可能导致业务混乱；如果错误地发送邮件，可能泄露敏感信息。
提示注入攻击的威胁
另一个常见的AI安全风险是"提示注入"，这是一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。LLM被编程为急切地遵循指令，使其无法区分有效用户提示中包含的指令与攻击者创建的不可信第三方内容中包含的指令。因此，LLM会给予攻击者与用户同等的对待。
微软在其公告中承认："随着这些功能的引入，AI模型在行为方面仍面临功能限制，偶尔可能会产生幻觉并产生意外输出。此外，AI代理应用程序引入了新的安全风险，如跨提示注入（XPIA），其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令，导致意外操作，如数据泄露或恶意软件安装。"
这两种缺陷都可以被利用来执行数据泄露、运行恶意代码和窃取加密货币等攻击。迄今为止，这些漏洞已被证明开发人员无法预防，在许多情况下，只能在发现漏洞后使用特定的变通方法来修复。
安全专家的批评与质疑
"漫威超级英雄级别的宏"
一些安全专家对微软周二公告中警告的价值提出了质疑，将其比作微软几十年来关于Office应用程序中宏使用危险性的警告。尽管长期以来一直有这样的建议，但宏仍然是黑客秘密在Windows机器上安装恶意软件时最容易得手的目标之一。原因之一是微软使宏对生产力至关重要，许多用户无法离开它们。
独立研究员凯文·博蒙特（Kevin Beaumont）表示："微软说'不要启用宏，它们很危险'...从未奏效过。这就像是漫威超级英雄级别的宏。"
博蒙特经常被雇用应对企业内部的重大Windows网络入侵事件，他还质疑微软是否会为管理员提供适当限制最终用户机器上Copilot Actions的方法，或识别网络中已启用该功能的机器。
用户保护的有效性
研究人员纪尧姆·罗索利尼（Guillaume Rossolini）表示："我看不出用户将如何防止他们所指的任何事情，除了可能不上网。"
微软强调Copilot Actions是一个默认关闭的实验性功能。这种设计可能是为了限制其访问具有理解所需风险经验的用户。然而，批评者指出，先前的实验性功能——例如Copilot——随着时间的推移经常成为所有用户的默认功能。一旦完成，不信任该功能的用户通常需要投入时间开发不受支持的方式来移除这些功能。
微软的安全目标与用户现实
微软周二的大部分公告集中在 securing agentic features in Windows 的总体战略上。此类功能的目标包括：
- 不可否认性，即所有操作和行为必须"可观察且可与用户执行的操作区分开来"
- 代理在收集、聚合或以其他方式利用用户数据时必须保持机密性
- 代理在访问用户数据或采取行动时必须获得用户批准
这些目标是合理的，但最终它们依赖于用户阅读警告风险的对话框并在继续之前仔细批准。这反过来又降低了保护对许多用户的价值。
加州大学圣地亚哥分校专攻AI安全的教授厄伦斯·费尔南德斯（Earlence Fernandes）告诉Ars："此类机制通常的警告适用于依赖用户点击通过权限提示的情况。有时这些用户不完全发生了什么，或者他们可能只是习惯性地一直点击'是'。在这种情况下，安全边界实际上并不是一个边界。"
正如"ClickFix"攻击所证明的那样，许多用户可以被诱骗遵循极其危险的指令。虽然更有经验的用户（包括相当数量的Ars评论者）将归咎于陷入此类骗局受害者，但这些事件因多种原因而不可避免。在某些情况下，即使是谨慎的用户也会因疲劳或情绪压力而失误。其他用户 simply 缺乏做出明智决定的知识。
责任转移的批评
批评者之一里德·米德克（Reed Mideke）表示："微软（就像整个行业一样）不知道如何阻止提示注入或幻觉，这使其从根本上不适合任何严肃的事情。解决方案？将责任转移给用户。就像每个LLM聊天机器人都有'顺便说一下，如果您将其用于任何重要的事情，请务必验证答案'的免责声明一样，不管如果您已经知道答案，您首先就不需要聊天机器人。"
米德克指出，大多数批评也适用于其他公司——包括苹果、谷歌和Meta——将其产品整合的AI产品。这些集成通常开始作为可选功能，最终成为用户是否想要的默认功能。
科技公司的AI创新与安全责任
微软的警告引发了一个更广泛的问题：科技公司在推动AI创新与保障用户安全之间应该如何平衡？一方面，AI代理技术确实有潜力显著提高生产力和用户体验；另一方面，如本文所述，这些技术目前存在严重的安全风险。
历史教训
科技行业在推出新技术时经常面临类似的安全挑战。例如，早期的互联网连接带来了便利，但也引入了病毒和恶意软件的风险。社交媒体平台连接了人们，但也导致了隐私问题和虚假信息的传播。云计算提供了可扩展性，但也引发了数据主权和合规性问题。
在这些情况下，科技公司最终开发了一系列安全措施来缓解这些风险。然而，AI代理技术的独特之处在于，它们自主执行操作的能力创造了新的攻击面，传统安全方法可能无法有效应对。
用户教育与透明度
提高用户对AI代理功能风险的认识至关重要。科技公司需要提供清晰、易懂的警告，并确保用户了解他们启用的功能可能带来的后果。此外，提供细粒度的控制选项，允许用户根据其风险承受能力和使用场景自定义AI代理的行为。
透明度也是关键。科技公司应该公开他们如何测试AI功能，发现了哪些漏洞，以及他们正在采取哪些措施来缓解这些风险。这种开放性可以帮助建立用户信任，并促进安全研究的合作方法。
行业趋势与未来展望
AI代理技术的集成似乎是不可逆转的趋势。随着这些技术变得越来越复杂和自主，它们将成为操作系统和应用程序的标准部分。然而，安全挑战也将相应增加。
技术解决方案的发展
研究人员和开发人员正在积极解决AI代理面临的安全挑战。一些潜在的技术解决方案包括：
- 更严格的输入验证：开发更强大的机制来检测和阻止恶意提示注入尝试。
- 输出过滤：实施额外的检查，确保AI代理的输出不包含敏感信息或可能导致有害操作的指令。
- 行为监控：开发系统来监控AI代理的行为，检测异常活动并可能阻止潜在的有害操作。
- 形式化验证：使用数学方法证明AI代理的特定属性，例如它们不会执行某些类型的操作。
监管与行业标准
随着AI技术的普及，监管机构和行业标准组织可能会制定更具体的指导方针和法规，规范AI代理的开发和部署。这些法规可能要求公司进行严格的安全测试，披露已知风险，并实施特定的缓解措施。
结论
微软对Copilot Actions安全风险的警告揭示了当前AI代理技术面临的严峻挑战。尽管这些技术有潜力显著提高生产力和用户体验，但它们目前存在的安全风险——包括幻觉现象和提示注入攻击——不容忽视。
科技公司需要在创新与安全之间找到平衡点，不仅要开发更安全的技术，还要提高用户对这些风险的认识。同时，监管机构和行业组织需要参与制定标准和指导方针，确保AI技术的发展以负责任的方式进行。
最终，AI代理技术的成功将取决于我们能否解决这些安全问题，同时保持其创新性和实用性。微软的警告是一个重要的第一步，但还需要更多的研究和开发来确保这些技术能够在不危及用户安全的情况下充分发挥其潜力。
