在科技行业快速推进人工智能应用的同时，一个令人不安的现实正逐渐浮现：AI系统可能成为新的安全漏洞源头。微软近日对其Windows系统中集成的Copilot Actions实验性AI功能发出警告，称该功能可能导致设备感染和数据泄露。这一警告引发了安全专家和行业观察人士的广泛质疑和担忧，人们开始重新思考科技公司在推出创新功能时是否充分考虑了安全风险。
微软警告背后的AI风险
微软在周二发布的警告中明确指出，Copilot Actions这一"实验性代理功能"在启用后可能带来严重的安全隐患。该功能旨在执行"日常任务如整理文件、安排会议或发送邮件"，并提供"积极的数字合作者，能够为您执行复杂任务以提高效率和生产力"。
然而，这份功能介绍伴随着一个重要的警示：微软建议用户仅在"理解所概述的安全含义"的情况下启用Copilot Actions。这一警告基于大多数大型语言模型（包括Copilot）中已知的固有缺陷，研究人员已经多次证明这些缺陷可以被恶意利用。
大型语言模型的固有缺陷
大型语言模型存在两种主要缺陷，都可能被攻击者利用：
幻觉现象：LLM可能提供事实错误和逻辑混乱的答案，即使是针对最基本的问题也是如此。这种被称为"幻觉"的行为意味着用户无法完全信任Copilot、Gemini、Claude或其他任何AI助手的输出，而必须独立验证其结果。
提示注入：一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。LLM被编程为急切地遵循指示，使其无法区分有效用户提示中的指令与攻击者在不受信任的第三方内容中创建的指令。结果，LLM对攻击者和用户给予同样的尊重。
这两种缺陷都可能被利用于数据泄露、运行恶意代码和窃取加密货币的攻击。迄今为止，这些漏洞已被证明是开发者无法预防的，在许多情况下，只能在发现漏洞后开发特定的变通解决方案。
微软的安全承诺与专家质疑
微软在其警告中承认了这些风险，并表示AI模型在行为方面仍存在功能限制，"偶尔可能产生幻觉和意外输出"。公司还特别提到了"跨提示注入（XPIA）"这一新型安全风险，其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令，导致数据外泄或恶意软件安装等意外行动。
微软表示，Copilot Actions目前仅在Windows的测试版本中可用，只有经验丰富的用户才应该启用该功能。然而，公司并未详细说明这类用户应具备什么样的培训或经验，也不清楚他们应该采取什么措施来防止设备被入侵。
安全专家的批评声音
一些安全专家质疑微软周二发布警告的价值，将其比作微软几十年来关于Office应用程序中使用宏的危险警告。尽管长期以来一直有这样的建议，宏仍然是黑客秘密在Windows机器上安装恶意软件时最容易得手的目标之一。部分原因是微软已将宏置于生产力的核心地位，许多用户无法不使用它们。
独立研究员凯文·博蒙特（Kevin Beaumont）表示："微软说'不要启用宏，它们很危险'...从来效果不佳。这就像是漫威超级英雄版本的兴奋剂上的宏。"博蒙特经常被雇佣处理企业内部的重大Windows网络入侵事件，他还质疑微软是否会为管理员提供充分限制最终用户机器上Copilot Actions的方法，或识别网络中已启用该功能的机器。
微软发言人表示，IT管理员将能够使用Intune或其他移动设备管理（MDM）应用程序，在账户和设备级别启用或禁用代理工作区。
用户面临的实际挑战
批评者还提出了其他担忧，包括即使是经验丰富的用户也难以检测针对他们使用的AI代理的利用攻击。
研究员纪尧姆·罗索利尼（Guillaume Rossolini）表示："我看不出用户将如何防止他们所提到的任何事情，除了可能不上网之外。"
微软强调Copilot Actions是一个默认关闭的实验性功能。这种设计可能是为了限制其访问那些有经验理解其风险的用户。然而，批评者指出，先前的实验性功能（例如Copilot）随着时间的推移通常会成为所有用户的默认功能。一旦完成，不信任该功能的用户通常需要投入时间开发不受支持的方式来移除这些功能。
微软的安全目标与实际效果
微软在周二的公告中主要关注了其在Windows中保护代理功能的整体战略。此类功能的目标包括：
- 不可否认性：所有行动和行为必须是"可观察的，并且可以与用户采取的行动区分开来"
- 保密性：代理在收集、聚合或以其他方式利用用户数据时必须保持机密性
- 用户批准：代理在访问用户数据或采取行动时必须获得用户批准
这些目标是合理的，但最终它们依赖于用户阅读警告风险的对话框，并在继续操作前仔细批准。这反过来又降低了这些保护措施对许多用户的价值。
加州大学圣地亚哥分校专门研究AI安全的教授厄伦斯·费尔南德斯（Earlence Fernandes）告诉Ars："适用于此类机制的通常警告仍然适用，这些机制依赖于用户点击权限提示。有时这些用户不完全发生了什么，或者他们可能只是习惯于一直点击'是'。在这种情况下，安全边界实际上并不是一个真正的边界。"
正如"ClickFix"攻击浪潮所证明的那样，许多用户可以被欺骗去遵循极其危险的指令。虽然更经验丰富的用户（包括相当数量的Ars评论者）会责怪这些骗局中的受害者，但由于多种原因，这些事件是不可避免的。在某些情况下，即使是谨慎的用户也会因为疲劳或情绪困扰而失误。其他用户则 simply 缺乏做出明智决定的知识。
行业面临的共同挑战
正如批评者米德克（Mideke）所指出的，大多数批评也适用于其他公司（包括苹果、谷歌和Meta）将其产品整合的AI产品。这些整合通常开始作为可选功能，最终无论用户是否需要都成为默认功能。
科技公司在追求创新的同时，如何平衡安全风险，将成为行业未来发展的重要课题。AI技术的快速进步与安全防护措施之间的差距正在扩大，这要求公司在推出新功能时采取更加谨慎和负责任的态度。
安全与创新的平衡
微软的案例反映了整个AI行业面临的一个核心挑战：如何在推动创新的同时确保用户安全。一方面，AI助手确实能够提高生产力和效率，为用户提供便利；另一方面，它们也引入了新的安全风险，可能被恶意利用。
解决这一问题需要多方共同努力：科技公司需要加强安全测试和风险评估，监管机构需要制定适当的AI安全标准，而用户也需要提高安全意识，了解AI系统的局限性。
未来发展方向
展望未来，AI安全领域可能会出现以下几个发展方向：
更强大的安全防护机制：开发能够抵御提示注入和幻觉攻击的新技术和方法。
用户友好的安全控制：设计更直观、更易于理解的安全设置，帮助用户更好地控制AI功能。
行业标准和最佳实践：制定AI安全领域的行业标准和最佳实践，指导公司开发更安全的AI系统。
透明的风险评估：科技公司应更加透明地向用户传达AI功能的风险和局限性，让用户能够做出明智的选择。
结论
微软Copilot Actions的警告案例提醒我们，AI技术在带来便利的同时也伴随着安全风险。科技公司在追求创新的同时，不能忽视对用户安全和隐私的保护。只有通过加强安全研究、完善监管机制、提高用户安全意识，我们才能确保AI技术的健康发展，让创新与安全并行不悖。
在这个AI快速发展的时代，我们需要重新思考科技公司的责任与义务，以及用户在享受技术便利的同时应如何保护自己。只有这样，我们才能真正实现AI技术的潜力，同时避免其可能带来的负面影响。
