微软近日发布警告，称其最新集成的Windows AI代理功能Copilot Actions可能感染设备并窃取敏感用户数据，这一消息立即引发了安全专家的强烈质疑。这一事件不仅揭示了当前AI技术发展的安全隐忧，更引发了一个更深层次的问题：为什么大型科技公司如此急于在充分理解和控制危险行为之前就推动新功能的发布？
Copilot Actions：便利与风险并存
根据微软周二发布的公告，Copilot Actions是一套"实验性代理功能"，启用后能够执行"日常任务，如整理文件、安排会议或发送邮件"，并提供"一个积极的数字协作者，可以为您执行复杂任务以提高效率和生产力"。
然而，在热闹的宣传背后，微软附带了一个重要的警告：用户只有在"理解概述的安全影响"的情况下才应启用Copilot Actions。这一警告基于大多数大型语言模型（包括Copilot）中存在的固有缺陷，研究人员已多次证明这些缺陷可以被利用。
AI幻觉与提示注入：两大核心风险
当前AI系统面临的主要安全威胁包括两种类型：AI幻觉和提示注入。
AI幻觉：不可信的输出
大型语言模型的一个常见缺陷是它们可能提供事实错误和逻辑混乱的答案，即使是对最基本的问题也是如此。这种被称为"幻觉"的行为倾向意味着用户不能完全信任Copilot、Gemini、Claude或其他任何AI助手的输出，而必须独立验证其结果。
微软在其公告中承认："随着这些功能的引入，AI模型在行为方面仍存在功能限制，偶尔可能会产生幻觉并产生意外输出。"
提示注入：隐藏的指令攻击
另一个常见的AI"地雷"是提示注入，这是一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。LLM被编程为如此急切地遵循指令，以至于它们无法区分有效用户提示中的指令与攻击者创建的不可信第三方内容中的指令。因此，LLM对攻击者的信任程度与对用户的信任程度相同。
这两种缺陷都可以被用于攻击，这些攻击可能窃取敏感数据、运行恶意代码和窃取加密货币。迄今为止，这些漏洞已被证明开发者无法完全防止，在许多情况下，只能在发现漏洞后使用针对特定错误的变通方法来解决。
微软在公告中进一步指出："随着这些功能的引入，AI模型在行为方面仍存在功能限制，偶尔可能会产生幻觉并产生意外输出。此外，代理AI应用程序引入了新的安全风险，如跨提示注入（XPIA），其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令，导致意外操作，如数据泄露或恶意软件安装。"
专家质疑：警告的有效性
一些安全专家对周二公告中警告的有效性提出了质疑，将其与微软几十年来关于Office应用程序中使用宏的危险性的警告进行了比较。
独立研究员凯文·博蒙特（Kevin Beaumont）表示："微软说'不要启用宏，它们很危险'...从来都不太管用。这就像是服用Marvel超级英雄兴奋剂的宏。"
博蒙特经常被雇用应对企业内部的重大Windows网络入侵事件，他还质疑微软是否会为管理员提供适当限制最终用户机器上Copilot Actions的方法，或识别网络中已开启该功能的机器。
微软发言人表示，IT管理员将能够使用Intune或其他MDM（移动设备管理）应用程序在账户和设备级别启用或禁用代理工作区。
研究员纪尧姆·罗索利尼（Guillaume Rossolini）表示："我看不出用户将如何阻止他们所提到的任何类似事情，除了不上网我猜。"
微软的防御策略
微软在公告中重点介绍了其保护Windows中代理功能的整体策略，这些目标包括：
- 不可否认性：所有操作和行为必须"可观察且与用户采取的操作可区分"
- 保密性：代理在收集、聚合或以其他方式利用用户数据时必须保持保密
- 用户批准：代理在访问用户数据或采取操作前必须获得用户批准
这些目标是合理的，但最终它们依赖于用户阅读警告风险的对话框，并在继续操作前仔细批准。这反过来又降低了对许多用户的保护价值。
加州大学圣地亚哥分校专攻AI安全的教授Earlence Fernandes告诉Ars："对这种依赖用户点击权限提示的机制，通常的警告依然适用。有时这些用户不完全发生了什么，或者他们可能只是习惯了，总是点击'是'。在这种情况下，安全边界实际上并不是真正的边界。"
正如"ClickFix"攻击浪潮所证明的那样，许多用户可以被诱骗遵循极其危险的指令。虽然更有经验的用户（包括相当数量的Ars评论者）会责怪这些骗局中的受害者，但由于多种原因，此类事件是不可避免的。在某些情况下，即使是谨慎的用户也会因为疲劳或情绪压力而失误。其他用户则 simply 缺乏做出明智决策的知识。
责任转移：从公司到用户
批评者指出，微软的警告不过是一种CYA（保护自己屁股）的法律策略，试图使一方免于承担责任。
批评者里德·米德克（Reed Mideke）表示："微软（就像行业其他公司一样）不知道如何阻止提示注入或幻觉，这使得它从根本上不适合任何严肃的事情。解决方案？将责任转移给用户。就像每个LLM聊天机器人都有'顺便说一下，如果你将用于任何重要事情，请务必验证答案'的免责声明一样，不管如果你已经知道答案，你首先就不需要聊天机器人。"
正如米德克所指出的，大多数批评也适用于其他公司（包括苹果、谷歌和Meta）将其产品集成的AI产品。这些集成通常开始作为可选功能，最终无论用户是否需要都成为默认功能。
AI代理技术的未来展望
Copilot Actions争议凸显了AI代理技术发展中的一个核心矛盾：如何在提供便利的同时确保安全。随着AI系统变得越来越自主，能够代表用户执行复杂任务，它们也成为了新的攻击面。
技术解决方案的探索
研究人员正在积极探索解决AI代理安全问题的技术方案，包括：
- 更严格的输入验证：开发能够检测和过滤恶意提示的系统
- 行为监控：实施实时监控系统，检测代理的异常行为
- 沙箱环境：在隔离环境中运行代理，限制其对系统的访问权限
- 用户确认机制：对敏感操作实施多步骤验证
然而，这些解决方案都面临各自的挑战，特别是在处理复杂任务和保持用户体验流畅之间取得平衡。
监管与行业标准
随着AI代理技术的普及，监管机构和行业组织开始考虑制定相关标准和法规。欧盟的《人工智能法案》等框架已经开始考虑对高风险AI系统的要求，这可能包括对自主代理系统的特殊规定。
然而，技术发展的速度往往快于监管框架的建立，这导致了一个监管滞后于创新的局面。微软等公司面临的一个关键问题是：在缺乏明确监管标准的情况下，他们应该采取什么样的安全措施？
用户教育与意识
无论技术多么先进，用户的安全意识始终是最后一道防线。AI代理技术的普及需要伴随大规模的用户教育计划，帮助用户理解：
- AI代理的工作原理和局限性
- 如何识别潜在的安全威胁
- 何时以及如何质疑AI代理的建议
- 保护个人数据和隐私的最佳实践
平衡创新与安全
微软Copilot Actions争议反映了整个AI行业面临的一个核心挑战：如何在推动创新的同时确保安全。一方面，公司需要展示其技术进步并满足市场需求；另一方面，他们有责任确保其产品不会对用户造成不必要的风险。
微软的立场
微软强调Copilot Actions是"实验性功能"，默认关闭，这种设计可能是为了限制其访问有经验理解其风险的用户。然而，批评者指出，之前的实验功能（如Copilot）随着时间的推移经常成为所有用户的默认功能。一旦完成，不信任该功能的用户通常需要投入时间开发不受支持的方式来移除这些功能。
行业趋势
整个科技行业都在见证类似的现象：AI功能从可选变为默认，用户几乎没有选择权。这种趋势引发了关于用户自主权和知情同意的伦理问题。
可能的解决方案
为了平衡创新与安全，科技公司可以考虑以下策略：
- 渐进式推出：先向小部分技术用户群体推出新功能，收集反馈并修复问题
- 透明的风险评估：清晰传达功能的风险和局限性，避免营销语言淡化风险
- 用户控制权：提供简单易用的机制让用户完全禁用或限制AI功能
- 第三方安全审计：邀请独立安全专家评估AI代理的安全性
- 负责任的发布周期：确保在广泛部署前有足够的时间测试和修复安全问题
结论：AI时代的安全新范式
微软Copilot Actions的争议不仅仅是一个产品的安全问题，它代表了整个AI行业面临的一个更广泛的挑战：如何在快速创新的同时确保安全、负责任的部署。
随着AI系统变得越来越自主和强大，它们将成为网络攻击者的新目标。传统的安全模型可能不足以应对这些新型威胁，我们需要开发新的安全范式，这些范式应该：
- 将AI安全视为设计而非事后考虑
- 采用"安全即默认"的方法，而不是依赖用户做出正确的安全决策
- 考虑AI系统的整个生命周期，从开发到部署再到退役
- 促进安全研究的透明度和合作
最终，AI代理技术的成功将不仅取决于其功能和性能，还取决于它如何解决安全、隐私和伦理问题。微软和其他科技公司需要认真对待这些挑战，而不是仅仅将其视为需要管理的风险。只有这样，AI技术才能真正实现其承诺，同时保护用户的权利和安全。
