微软近日发布警告，称其Windows系统中集成的AI代理功能Copilot Actions可能存在安全风险，能够感染设备并窃取敏感用户数据。这一警告在安全专家和批评者中引发了强烈反响，他们质疑科技巨头为何急于推出未经充分测试的新功能，而忽视潜在的安全隐患。
Copilot Actions：便利与风险并存
微软在11月20日宣布推出Copilot Actions，这是一套"实验性代理功能"，启用后可以执行"日常任务，如整理文件、安排会议或发送邮件"，并提供"积极的数字协作者，可以为您执行复杂任务以提高效率和生产力"。这些功能听起来极具吸引力，能够为用户带来显著的便利性提升。
然而，伴随着这一功能的是微软发布的重要警告：用户只有在理解所概述的安全含义后，才应启用Copilot Actions。这一警告基于大多数大型语言模型（包括Copilot）中已知的固有缺陷，研究人员已经多次证明这些缺陷可以被利用来窃取敏感数据、运行恶意代码和盗窃加密货币。
AI安全两大顽疾：幻觉与提示注入
Copilot Actions面临的主要安全风险源于两个在大型语言模型中普遍存在的问题：AI幻觉和提示注入。
AI幻觉：不可信的输出
AI幻觉是指大型语言模型提供事实错误和逻辑不合理回答的倾向，有时甚至对最基本的问题也是如此。这种行为的出现意味着用户无法完全信任Copilot、Gemini、Claude或其他任何AI助手的输出，而必须独立验证其结果。对于执行关键任务的AI代理而言，这一特性可能导致严重后果，例如错误地删除重要文件或发送错误信息。
提示注入：隐藏的指令
提示注入是另一类常见的安全漏洞，允许黑客在网站、简历和电子邮件中植入恶意指令。大型语言模型被编程为急切地遵循指令，无法区分有效用户提示中包含的指令与攻击者在不受信任的第三方内容中创建的指令。结果，AI模型对攻击者和普通用户给予同样的尊重，可能导致数据泄露、恶意软件安装等严重后果。
微软在其公告中坦诚承认："随着这些功能的引入，AI模型在行为方面仍然存在功能限制，偶尔可能会产生幻觉并产生意外输出。此外，AI代理应用程序引入了新的安全风险，如跨提示注入(XPIA)，其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令，导致意外操作，如数据泄露或恶意软件安装。"
专家质疑：警告是否足够？
一些安全专家对微软周二公告中警告的价值提出了质疑，将其比作微软几十年来关于Office应用程序中宏使用危险的警告。尽管长期以来一直有这样的建议，宏仍然是黑客秘密在Windows机器上安装恶意软件时最容易得手的目标之一。部分原因是微软已将宏置于生产力的核心地位，许多用户无法避免使用它们。
独立研究员凯文·博蒙特(Kevin Beaumont)表示："微软说'不要启用宏，它们很危险'...从来都不太管用。这就像是服用了漫威超级英雄兴奋剂的宏。"博蒙特经常被雇佣处理企业内部的重大Windows网络入侵事件，他还质疑微软是否会为管理员提供适当限制最终用户机器上Copilot Actions的方法，或识别网络中已开启该功能的机器。
另一位研究员纪尧姆·罗索利尼(Guillaume Rossolini)表示："我看不出用户将如何防止他们所指的任何事情，除了不上网猜测。"
微软的应对策略：实验性定位
微软强调，Copilot Actions是一个默认关闭的实验性功能。这种设计可能是为了限制其访问那些有经验理解其风险的用户。然而，批评者指出，先前的实验性功能——例如Copilot本身——随着时间的推移经常成为所有用户的默认功能。一旦完成，不信任该功能的用户通常需要投入时间开发不受支持的方式来移除这些功能。
微软发言人表示，IT管理员将能够使用Intune或其他MDM(移动设备管理)应用程序在账户和设备级别启用或禁用代理工作区。
安全目标：理想与现实的差距
微软公告的大部分内容集中在 securing agentic features in Windows 的整体策略上。这些功能的目标包括：
- 不可否认性，即所有操作和行为必须"可观察且与用户采取的操作可区分"
- 代理在收集、聚合或以其他方式利用用户数据时必须保持机密性
- 代理在访问用户数据或采取行动时必须获得用户批准
这些目标是合理的，但最终取决于用户阅读警告风险的对话框并在继续之前仔细批准。这反过来又降低了保护对许多用户的价值。
加州大学圣地亚哥分校 specializing in AI security 的教授厄伦斯·费尔南德斯(Earlence Fernandes)告诉Ars："此类机制通常的警告适用于依赖用户点击通过权限提示的情况。有时这些用户不完全发生了什么，或者他们可能只是习惯于一直点击'是'。到那时，安全边界实际上并不是真正的边界。"
行业趋势：AI功能的默认化
正如批评者所指出的，大多数批评也适用于其他公司（包括苹果、谷歌和Meta）将其产品集成的AI产品。这些集成通常开始作为可选功能，并最终成为所有用户的默认功能，无论用户是否需要。
批评者里德·米德克(Reed Mideke)表示："微软（就像整个行业一样）不知道如何阻止提示注入或幻觉，这使得它从根本上不适合任何严肃的事情。解决方案？将责任转移给用户。就像每个LLM聊天机器人都有'哦，顺便说一下，如果你用它做任何重要的事情，请确保验证答案'的免责声明一样，不管如果你知道答案，你首先就不需要聊天机器人。"
未来展望：AI安全任重道远
微软的警告引发了关于AI代理技术安全性的重要讨论。随着AI技术越来越深入地融入我们的日常生活和工作环境，确保这些系统的安全性变得至关重要。然而，当前的技术水平和安全实践似乎还无法完全应对AI代理带来的新型安全挑战。
AI代理技术的未来发展需要在便利性和安全性之间找到平衡点。这可能需要：
- 更严格的安全测试：在广泛部署前对AI代理功能进行更全面的安全评估
- 用户教育：提高用户对AI风险的认识，使其能够做出明智的安全决策
- 技术解决方案：开发更先进的防御机制，如增强的输入验证和输出过滤
- 行业协作：科技公司、安全研究机构和监管机构共同努力制定AI安全标准和最佳实践
结论
微软Copilot Actions的安全警告揭示了AI代理技术面临的核心挑战：如何在提供创新功能的同时确保用户安全。批评者的质疑反映了行业对当前AI安全状况的普遍担忧。随着AI技术继续发展，科技公司需要更加负责任地推出新功能，投入更多资源解决已知的安全问题，并与用户、研究人员和监管机构合作，共同构建更安全的AI生态系统。
对于普通用户而言，理解AI代理的潜在风险并采取适当的预防措施至关重要。在当前技术环境下，保持警惕、定期更新软件、谨慎授予权限，以及避免将AI代理用于关键任务，都是保护自己数据安全的重要步骤。AI技术的未来令人兴奋，但我们必须确保这一发展是以安全、负责任的方式进行的。
