在人工智能技术迅猛发展的今天，科技巨头们竞相将AI功能集成到日常产品中，却往往忽视了随之而来的安全风险。微软最新发布的Windows AI助手功能Copilot Actions，正成为这一矛盾的典型代表。尽管微软警告称该功能可能导致设备感染和数据泄露，但批评者质疑这种警告是否足够，以及科技巨头为何急于推出尚未充分理解其风险的新功能。
Copilot Actions：便捷与风险并存
微软于近期在Windows系统中引入了Copilot Actions，这是一套"实验性智能体功能"。当用户启用后，它可以执行"日常任务，如整理文件、安排会议或发送邮件"，并提供"主动的数字协作者，可以为您执行复杂任务以提高效率和生产力"。
然而，伴随着这一功能推出的，是一份重要的安全提示。微软建议用户仅当"理解概述的安全含义"时才启用Copilot Actions。这一警告基于大多数大型语言模型（包括Copilot）中存在的固有缺陷，正如研究人员反复证明的那样。
大语言模型的固有缺陷
Copilot Actions面临的安全风险主要源于两大类大语言模型的固有缺陷：幻觉和提示注入。
幻觉：不可信的AI输出
大语言模型最常见的缺陷之一是它们会提供事实错误且不合逻辑的答案，有时甚至是对最基本的问题也是如此。这种行为被称为"幻觉"，意味着用户无法信任Copilot、Gemini、Claude或其他任何AI助手的输出，而必须独立确认其结果。
在Copilot Actions的上下文中，幻觉可能导致AI助手执行错误的操作，如将敏感文件发送给错误的收件人，或者基于错误的信息做出重要决策，从而造成严重后果。
提示注入：隐藏的攻击向量
另一个常见的大语言模型"地雷"是提示注入，这是一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。LLM被编程为急切地遵循指示，以至于它们无法区分有效用户提示中的指令与攻击者创建的不可信第三方内容中包含的指令。结果，LLM给予攻击者与用户相同的尊重。
这两种缺陷都可以被利用于攻击中，这些攻击可能泄露敏感数据、运行恶意代码和窃取加密货币。到目前为止，这些漏洞已被证明开发人员无法预防，在许多情况下，只能在发现漏洞后使用特定的变通方法来解决。
微软的安全策略：警告与责任转移
微软在其公告中坦诚承认了这些风险："随着这些功能的引入，AI模型在行为方面仍存在功能限制，偶尔可能会产生幻觉并产生意外输出。此外，智能体AI应用引入了新的安全风险，如跨提示注入（XPIA），其中嵌入在UI元素或文档中的恶意内容可以覆盖智能体指令，导致意外操作如数据泄露或恶意软件安装。"
微软表示，只有经验丰富的用户才应该启用Copilot Actions，该功能目前仅在Windows的测试版中可用。然而，该公司没有描述这些用户应该接受何种类型的培训或经验，或者他们应该采取什么措施来防止其设备被入侵。
这种警告被一些安全专家比作微软多年来关于Office应用程序中宏危险的警告。尽管长期以来一直有这样的建议，宏仍然是黑客秘密在Windows机器上安装恶意软件的最低悬垂果实之一。部分原因是微软已将宏置于生产力的核心地位，许多用户无法不使用它们。
独立研究员Kevin Beaumont表示："微软说'不要启用宏，它们很危险'...从来效果不佳。这就像是漫威超级英雄版本的宏。"
企业级部署的挑战
对于企业环境，微软表示IT管理员将能够使用Intune或其他MDM（移动设备管理）应用程序在账户和设备级别启用或禁用智能体工作区。
然而，Beaumont质疑微软是否将提供一种手段，让管理员能够充分限制最终用户机器上的Copilot Actions，或识别网络中已启用该功能的机器。
其他批评者还表达了其他担忧，包括即使是经验丰富的用户也难以检测针对他们正在使用的AI智能体的利用攻击。
研究员Guillaume Rossolini表示："我看不出用户将如何防止他们所指的任何事情，除了不浏览网页我猜。"
微软的安全目标：理想与现实
微软在其公告中重点介绍了 securing 智能体功能的整体策略，这些目标包括：
- 不可否认性：所有操作和行为必须"可观察且与用户采取的操作可区分"
- 保密性：智能体在收集、聚合或以其他方式利用用户数据时必须保持保密
- 用户批准：智能体在访问用户数据或采取行动时必须获得用户批准
这些目标是合理的，但最终它们依赖于用户阅读警告风险的对话框并在继续操作前仔细获得批准。这反过来又降低了保护对许多用户的价值。
加州大学圣地亚哥分校专攻AI安全的教授Earlence Fernandes告诉Ars："对于依赖用户点击权限提示的此类机制，通常的警告仍然适用。有时这些用户不完全发生了什么，或者他们可能只是习惯于一直点击'是'。到那时，安全边界实际上并不是真正的边界。"
正如"ClickFix"攻击浪潮所证明的那样，许多用户可以被诱骗遵循极其危险的指令。虽然更经验丰富的用户（包括相当数量的Ars评论者）归咎于落入此类骗局受害者，但这些事件由于多种原因不可避免。在某些情况下，即使是谨慎的用户也可能因疲劳或情绪压力而失误。其他用户 simply 缺乏做出明智决定的知识。
行业范围内的AI安全困境
正如批评者Reed Mideke所指出的，大多数批评也适用于其他公司——包括苹果、谷歌和Meta——将其产品集成的AI产品。这些集成通常开始作为可选功能，最终成为默认功能，无论用户是否需要。
Mideke表示："微软（就像行业中的其他人）不知道如何阻止提示注入或幻觉，这使其从根本上不适合任何严肃的事情。解决方案？将责任转移给用户。就像每个LLM聊天机器人都有'顺便说一下，如果您将其用于任何重要的事情，请确保验证答案'的免责声明一样，完全不考虑如果您已经知道答案，您首先就不需要聊天机器人。"
平衡创新与安全
AI技术的快速发展带来了前所未有的便利，但也伴随着复杂的安全挑战。微软的Copilot Actions案例凸显了科技行业在追求创新与保障安全之间的持续紧张关系。
一方面，AI助手确实能够显著提高生产力和效率，为用户提供无缝的数字体验。另一方面，它们引入了传统软件中没有的新型攻击向量，这些攻击向量往往难以检测和防御。
传统安全与AI安全的区别
传统软件安全主要关注已知的攻击模式，如恶意软件、网络钓鱼和未授权访问。而AI安全则引入了新的维度，包括模型行为的不确定性、对抗性攻击和隐私泄露风险。
传统安全措施，如防火墙、入侵检测系统和反病毒软件，对AI驱动的攻击往往效果有限。这是因为AI攻击可以利用模型的固有缺陷，而这些缺陷在传统软件安全框架中并不常见。
安全责任的重构
随着AI技术的普及，安全责任正在从开发者和制造商向用户转移。微软的警告本质上是一种责任转移，将保护设备和数据的主要责任交给了用户。
然而，这种做法存在几个问题：
- 用户能力不均：并非所有用户都具有足够的技术知识和安全意识来有效应对AI威胁。
- 认知负荷过重：要求用户理解并应对复杂的安全警告会增加认知负担，可能导致决策疲劳。
- 安全与便利的权衡：过于严格的安全措施可能会降低AI助手的便利性，违背了其设计初衷。
未来AI安全的发展方向
面对AI安全挑战，行业需要采取多管齐下的策略：
技术层面
- 增强模型安全性：开发更强大的防御机制，如对抗性训练、输入过滤和输出验证，以减少幻觉和提示注入攻击的风险。
- 可解释AI：提高AI决策过程的透明度，使用户能够理解AI为何做出特定决策，从而更好地识别潜在问题。
- 安全默认设置：将安全作为默认选项，而非可选功能，减少用户无意中启用高风险功能的风险。
政策与监管
- 制定AI安全标准：建立行业标准和最佳实践，为AI开发和部署提供指导。
- 明确责任归属：在AI系统导致损害时，明确开发者、供应商和用户之间的责任边界。
- 加强隐私保护：制定更严格的法规，确保AI系统在收集和处理用户数据时遵守隐私原则。
用户教育
- 提高安全意识：通过教育和培训，帮助用户了解AI系统的潜在风险和防护措施。
- 简化安全控制：设计更直观、更易用的安全控制界面，使用户能够轻松管理AI权限。
- 提供实时反馈：开发能够实时检测并警告可疑AI行为的工具，帮助用户及时识别威胁。
结论：谨慎前行
AI技术的潜力是巨大的，但我们必须认识到，任何技术的进步都伴随着风险。微软Copilot Actions的案例提醒我们，在追求创新的同时，不能忽视安全考量。
科技巨头们需要承担起更多责任，不仅要开发功能强大的AI系统，还要确保这些系统的安全性。这需要从设计阶段就将安全纳入考量，而不是事后补救。同时，监管机构也需要制定适当的框架，平衡创新与安全的关系。
对于用户而言，提高安全意识至关重要。在享受AI技术带来的便利的同时，我们也需要保持警惕，了解潜在风险，并采取适当的防护措施。
AI安全不是一次性的挑战，而是一个持续的过程。只有通过技术开发者、政策制定者、供应商和用户的共同努力，我们才能确保AI技术的发展既创新又安全，真正造福人类社会。
