在科技行业快速推进人工智能应用的同时，安全问题日益凸显。微软最新警告其Windows系统中的Copilot Actions功能可能感染设备并窃取用户数据，这一消息引发了安全专家和行业观察者的广泛质疑和讨论。这一AI代理功能虽默认关闭，但其潜在风险已引发对AI技术安全性的深度思考。
微软警告与专家质疑
微软在周二发布警告称，集成到Windows中的实验性AI代理可能会感染设备并窃取敏感用户数据，这引发了安全专家们熟悉的质疑：为什么大型科技公司如此急于在充分理解和控制其危险行为之前就推出新功能？
正如报道所述，微软引入了Copilot Actions，这是一套"实验性代理功能"，启用后可以执行"日常任务，如整理文件、安排会议或发送电子邮件"，并提供"一个积极的数字协作者，可以为您执行复杂任务以提高效率和生产力"。
然而，伴随着这一宣传的是重要警告。微软建议用户只有在"理解概述的安全含义"的情况下才启用Copilot Actions。这一告诫基于大多数大型语言模型（包括Copilot）中存在的固有缺陷，研究人员已多次证明这些缺陷。
AI代理的核心安全风险
幻觉现象与不可靠输出
大型语言模型的一个常见缺陷是它们提供的事实错误和逻辑不合理答案，有时甚至是对最基本的问题。这种行为被称为"幻觉"，意味着用户不能信任Copilot、Gemini、Claude或任何其他AI助手的输出，而必须独立确认。
在Copilot Actions的上下文中，幻觉可能导致严重后果。想象一下，如果AI代理错误地安排了会议时间、发送了错误信息或删除了重要文件，用户可能会面临工作混乱甚至数据丢失的风险。更危险的是，如果AI代理在处理敏感数据时产生幻觉，可能会导致数据泄露或被误用。
提示注入攻击
另一个常见的LLM隐患是提示注入，这是一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。LLM被编程为如此急切地遵循指令，以至于它们无法区分有效用户提示中的指令与攻击者创建的不可信第三方内容中的指令。因此，LLM对攻击者和用户给予同样的尊重。
这两种缺陷都可以在窃取敏感数据、运行恶意代码和加密货币的攻击中被利用。迄今为止，这些漏洞已被证明开发者无法预防，在许多情况下，只能在发现漏洞后使用特定的变通方法修复。
微软在其周二的文章中披露了这一重要信息："随着这些功能的引入，AI模型在行为方面仍然存在功能局限性，偶尔可能会产生幻觉并产生意外输出。此外，AI代理应用程序引入了新的安全风险，如跨提示注入（XPIA），其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令，导致意外行动，如数据泄露或恶意软件安装。"
专家对微软警告的批评
一些安全专家质疑周二文章中警告的价值，将其与微软几十年来关于Office应用中使用宏危险的警告进行了比较。尽管长期以来一直有这样的建议，但宏仍然是黑客试图在Windows机器上秘密安装恶意软件时最容易得手的目标之一。原因之一是微软使宏对生产力如此重要，以至于许多用户无法不使用它们。
独立研究员凯文·博蒙特（Kevin Beaumont）表示："微软说'不要启用宏，它们很危险'...从未奏效过。这就像是服用了漫威超级英雄兴奋剂的宏。"
博蒙特经常被雇用应对企业内部的重大Windows网络入侵事件，他还质疑微软是否会为管理员提供适当限制最终用户机器上Copilot Actions的方法，或识别网络中已启用该功能的机器。
微软发言人表示，IT管理员将能够使用Intune或其他MDM（移动设备管理）应用在账户和设备级别启用或禁用代理工作区。
研究人员纪尧姆·罗索利尼（Guillaume Rossolini）表示："我看不出用户将如何防止他们所指的任何事情，除了不上网猜猜看。"
微软的安全策略与用户保护
微软在周二的文章中主要关注了其在Windows中保护代理功能的整体策略。此类功能的目标包括：
- 不可否认性：所有行为和行动必须"可观察且与用户采取的行动可区分"
- 保密性：代理在收集、聚合或以其他方式利用用户数据时必须保持保密
- 用户批准：代理在访问用户数据或采取行动时必须获得用户批准
这些目标是合理的，但最终取决于用户阅读警告风险并在继续操作前要求仔细批准的对话框。这反过来又降低了保护对许多用户的价值。
加州大学圣地亚哥分校专门研究AI安全的厄伦斯·费尔南德斯（Earlence Fernandes）教授告诉Ars："此类机制通常的警告适用于依赖用户点击通过权限提示的情况。有时这些用户不完全发生了什么，或者他们可能只是习惯性地一直点击'是'。在这种情况下，安全边界实际上并不是真正的边界。"
正如"ClickFix"攻击浪潮所证明的，许多用户可以被欺骗去遵循极其危险的指令。虽然更多经验丰富的用户（包括相当数量的Ars评论者）责备陷入此类骗局受害者，但这些事件由于多种原因而不可避免。在某些情况下，即使是谨慎的用户也会感到疲劳或在情绪压力下失误。其他用户则 simply 缺乏做出明智决定的知识。
一位批评者表示，微软的警告几乎等同于CYA（掩盖你的屁股），这是一种试图保护一方免于承担法律责任的策略。
批评者里德·米德克（Reed Mideke）表示："微软（就像行业其他公司一样）不知道如何阻止提示注入或幻觉，这使其从根本上不适合任何严肃的事情。解决方案？将责任转移给用户。就像每个LLM聊天机器人都有'顺便说一下，如果您将其用于任何重要的事情，请务必验证答案'的免责声明一样，不管如果您一开始就知道答案就不需要聊天机器人了。"
AI功能的发展趋势与用户选择
正如米德克所指出的，大多数批评也适用于其他公司（包括苹果、谷歌和Meta）将其产品集成的AI产品。这些集成通常开始作为可选功能，并最终成为所有用户的默认功能，无论用户是否需要。
微软强调Copilot Actions是一个实验性功能，默认情况下是关闭的。这种设计可能是为了限制其访问有经验理解其风险的用户。然而，批评者指出，先前的实验性功能（例如Copilot）随着时间的推移通常会成为所有用户的默认功能。一旦完成，不信任该功能的用户通常需要投入时间开发不受支持的方式来移除这些功能。
这一趋势引发了一个更广泛的问题：在追求创新和便利的同时，科技公司是否充分考虑了用户的安全和隐私？当AI功能从"实验性"转变为"默认"时，用户是否有真正的选择权？
企业环境中的AI代理管理
在企业环境中，AI代理的管理和监控变得尤为重要。微软表示，IT管理员将能够使用Intune或其他MDM应用在账户和设备级别启用或禁用代理工作区。这一功能对于希望控制企业环境中AI功能使用的组织来说至关重要。
然而，专家们质疑这些管理工具是否足够强大，能够有效防止潜在的安全威胁。企业需要能够：
- 监控AI代理的活动，检测异常行为
- 限制AI代理对敏感数据和系统的访问
- 在检测到潜在威胁时能够快速响应
- 为员工提供充分的培训，使他们了解AI代理的风险和安全使用方法
AI安全技术的未来发展方向
面对AI代理的安全挑战，研究人员和开发者正在积极探索解决方案。可能的未来发展方向包括：
- 更严格的输入验证：开发能够识别和过滤恶意提示的技术
- 输出审计：实现AI输出的事后验证机制
- 权限最小化：确保AI代理只拥有完成任务所必需的最小权限
- 行为监控：持续监控AI代理的行为，检测异常活动
- 用户教育：提高用户对AI风险的认识，培养安全的使用习惯
平衡创新与安全
AI技术的快速发展带来了巨大的创新机遇，同时也带来了前所未有的安全挑战。微软Copilot Actions的争议反映了整个行业面临的核心问题：如何在推动技术进步的同时确保用户的安全和隐私。
这一平衡需要多方共同努力：科技公司需要承担起更多责任，开发更安全的AI系统；监管机构需要制定适当的指导方针和标准；用户需要提高安全意识，谨慎使用新技术；研究人员需要继续探索AI安全的前沿问题。
结论
微软关于Copilot Actions安全风险的警告虽然重要，但也暴露了当前AI技术面临的根本性挑战。在AI代理变得越来越普遍和强大的背景下，确保这些系统的安全性将是技术行业面临的最重要任务之一。只有通过持续的研究、开发合作和负责任的部署，我们才能充分发挥AI技术的潜力，同时最大限度地减少其风险。
