微软近日发布的一则安全警告引发了科技界的广泛关注和质疑：该公司最新集成的Copilot Actions AI代理功能可能被利用来感染设备并窃取敏感用户数据。这一警告不仅揭示了当前AI技术在安全方面的固有缺陷，更引发了关于科技公司是否应该急于将不成熟技术推向市场的深刻思考。
微软警告背后的真相
在11月20日发布的一份声明中，微软提醒用户，其最新引入的Copilot Actions实验性AI代理功能存在显著安全风险。Copilot Actions被描述为一套"实验性代理功能"，启用后能够执行"组织文件、安排会议或发送邮件等日常任务"，并提供"一个积极的数字协作者，可以为您执行复杂任务以提高效率和生产力"。
然而，伴随着这些功能的推广，微软附带了一个重要的警告：用户只有在"理解概述的安全含义"的情况下才应该启用Copilot Actions。这一警告基于大型语言模型（包括Copilot）中已知的固有缺陷，正如研究人员多次展示的那样。
"随着这些能力的引入，AI模型在行为方面仍存在功能限制，偶尔可能会产生幻觉并产生意外输出，"微软在声明中写道。"此外，AI代理应用程序引入了新的安全风险，如跨提示注入（XPIA），其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令，导致数据泄露或恶意软件安装等意外行动。"
目前，Copilot Actions仅在Windows的测试版本中可用，并且默认情况下处于关闭状态。微软建议只有经验丰富的用户才应启用此功能，但该公司并未详细说明用户应具备什么样的培训或经验，也未提供应采取哪些具体措施来防止设备被攻击。
AI代理的核心安全问题
幻觉现象：不可预测的AI输出
大型语言模型最常见的一个缺陷是它们会提供事实错误且不合逻辑的答案，有时甚至是对最基本问题的回答。这种被称为"幻觉"的倾向意味着用户不能完全信任Copilot、Gemini、Claude或其他任何AI助手的输出，而必须独立验证。
幻觉现象在AI代理中尤为危险，因为这些系统被设计为自主执行任务。当AI代理基于错误信息做出决策时，可能会导致严重后果，例如发送错误的信息、安排错误的会议或删除重要文件。对于依赖这些系统执行关键任务的用户来说，这种风险尤为显著。
提示注入：隐藏的攻击向量
另一个常见的AI代理风险是提示注入，这是一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。AI系统被编程为急于遵循指令，以至于它们无法区分有效用户提示中的指令与攻击者创建的不可信第三方内容中包含的指令。结果，AI系统给予攻击者与用户同等的对待。
提示注入攻击可以多种方式利用，包括：
- 通过恶意网站或文档注入指令，使AI代理执行意外操作
- 利用AI代理访问敏感数据并将其传输给攻击者
- 操纵AI代理安装恶意软件或后门程序
- 诱骗AI代理发送钓鱼邮件或传播恶意内容
这两种缺陷都可以被用来发动攻击，这些攻击会泄露敏感数据、运行恶意代码和窃取加密货币。迄今为止，这些漏洞已被证明开发人员无法预防，在许多情况下，只能在发现漏洞后使用针对特定错误的解决方法来修复。
安全专家的质疑与批评
微软的警告引发了安全专家的广泛质疑，许多人将其比作微软几十年来关于Office应用程序中宏危险的警告。尽管长期以来一直有建议，但宏仍然是黑客秘密在Windows机器上安装恶意软件的最低悬垂成果之一。部分原因是微软使宏对生产力至关重要，许多用户无法弃用。
"微软说'不要启用宏，它们很危险'...从来都不太有效，"独立研究员凯文·博蒙特（Kevin Beaumont）说。"这就像是超级英雄版的强化宏。"
博蒙特经常被雇佣来应对企业内部的重大Windows网络入侵事件，他还质疑微软是否会为管理员提供适当限制最终用户机器上Copilot Actions的方法，或识别网络中已开启该功能的机器。
一位微软发言人表示，IT管理员将能够使用Intune或其他MDM（移动设备管理）应用程序在帐户和设备级别启用或禁用代理工作区。
研究人员纪尧姆·罗索利尼（Guillaume Rossolini）表示："我看不出用户将如何防止他们所提到的任何事情，除了不上网之外。"
微软的安全策略与实际效果
在周二的大部分帖子中，微软重点介绍了其在Windows中保护代理功能的整体策略。此类功能的目标包括：
- 不可否认性：所有操作和行为必须是"可观察的，并能与用户采取的操作区分开来"
- 保密性：代理在收集、聚合或以其他方式利用用户数据时必须保持机密性
- 用户批准：代理在访问用户数据或采取行动时必须获得用户批准
这些目标是合理的，但最终它们依赖于用户阅读警告风险的对话框，并在继续之前仔细批准。这反过来又降低了保护措施对许多用户的价值。
加州大学圣地亚哥分校专门研究AI安全的教授厄伦斯·费尔南德斯（Earlence Fernandes）告诉Ars："此类机制依赖于用户点击权限提示的警告同样适用。有时这些用户不完全发生了什么，或者他们可能只是习惯于一直点击'是'。到那时，安全边界实际上并不是真正的边界。"
正如"ClickFix"攻击浪潮所证明的那样，许多用户可以被诱骗遵循极其危险的指示。虽然更有经验的用户（包括相当多的Ars评论者）将归咎于陷入此类骗局受害者，但这些事件由于多种原因是不可避免的。在某些情况下，即使是细心的用户也会感到疲劳或在情感压力下失误。其他用户 simply 缺乏做出明智决定的知识。
批评者表示，微软的警告几乎相当于一种CYA（意为"保护自己屁股"）的法律手段，试图使一方免于承担责任。
批评者里德·米德克（Reed Mideke）表示："微软（就像整个行业一样）不知道如何阻止提示注入或幻觉，这使其从根本上不适合任何严肃的事情。解决方案？将责任转移给用户。就像每个LLM聊天机器人都有'顺便说一下，如果您将其用于任何重要的事情，请务必验证答案'的免责声明一样，无需多言，如果您知道答案，您首先就不需要聊天机器人。"
从可选到默认：AI功能的历史趋势
微软强调Copilot Actions是一个实验性功能，默认情况下是关闭的。这种设计可能是为了限制其访问有经验理解其风险的用户。然而，批评者指出，先前的实验性功能——例如Copilot——随着时间的推移定期成为所有用户的默认功能。一旦完成，不信任该功能的用户通常需要投入时间开发不受支持的方式来移除这些功能。
这一趋势在整个科技行业都很普遍。苹果、谷歌和Meta等公司将其AI集成产品开始作为可选功能，最终无论用户是否愿意都成为默认功能。这种模式引发了关于用户选择权和科技公司责任的更广泛问题。
用户困境与责任转移
随着AI代理越来越深入地融入日常软件，用户发现自己处于一个越来越困难的境地。一方面，这些功能承诺提高生产力和便利性；另一方面，它们引入了复杂的安全风险，而大多数用户既没有知识也没有工具来有效管理这些风险。
更令人担忧的是，随着科技公司无法解决AI系统的固有缺陷，他们似乎正在将安全责任从公司转移到用户身上。这种责任转移不仅不公平，因为它假设用户具备专业知识来保护自己免受他们不完全理解的风险，而且还会导致更广泛的安全问题，因为普通用户缺乏有效应对这些威胁的能力。
未来展望与建议
面对AI代理的安全挑战，需要采取多方面的方法：
技术开发：科技公司需要投入更多资源解决AI系统的固有缺陷，特别是提示注入和幻觉问题。这可能涉及开发更强大的输入验证机制、改进模型训练方法，以及实施更严格的输出过滤。
透明度与用户教育：科技公司应该提供更清晰、更易懂的风险信息，并为用户提供教育资源，帮助他们理解如何安全地使用AI功能。这包括开发直观的界面，使非技术用户能够识别潜在风险。
监管与标准：政府和行业机构需要制定AI安全和隐私标准，确保科技公司对其产品负责。这可能包括强制性安全评估、透明度要求和用户保护措施。
用户赋权：用户应该获得更多控制权，能够轻松禁用或限制AI功能，特别是那些处理敏感数据的功能。这需要开发更精细的权限管理系统，使普通用户能够根据自己的需求和安全偏好定制体验。
结论
微软关于Copilot Actions的警告揭示了AI技术快速发展与安全考量之间的紧张关系。虽然AI代理承诺带来显著的生产力提升，但它们也引入了新的、复杂的安全风险，这些风险目前难以完全缓解。
科技公司需要在创新与安全之间找到更好的平衡，不能仅仅依靠用户警告来转移责任。同时，用户需要意识到这些风险，并在采用新功能时保持警惕。随着AI技术继续融入我们的数字生活，确保这些系统安全、可靠且负责任地运行将变得至关重要。
最终，AI代理的安全问题不仅是一个技术挑战，也是一个社会和伦理问题。我们需要共同努力，确保这些强大的工具以尊重用户权利和安全的方式开发和部署。
