微软近日发布警告称，其最新集成到Windows系统中的AI助手功能Copilot Actions可能存在严重安全隐患，能够感染设备并窃取敏感用户数据。这一警告立即引发了安全专家和批评人士的强烈质疑：为什么大型科技公司如此急于在充分理解和控制这些危险行为之前就推动新功能的推出？
Copilot Actions：功能与风险并存
Copilot Actions是微软最新推出的一组"实验性代理功能"，启用后能够执行"日常任务，如整理文件、安排会议或发送邮件"，并提供"一个积极的数字协作者，可以为您执行复杂任务以提高效率和生产力"。然而，伴随着这一功能的发布，微软也提供了重要警告，建议用户仅在"理解概述的安全含义"的情况下启用Copilot Actions。
这一警告基于大多数大型语言模型（包括Copilot）中存在的固有缺陷。研究人员已经多次证明，这些缺陷可能导致AI助手输出事实错误且不合逻辑的答案，甚至对最基本的问题也是如此。这种被称为"幻觉"的行为意味着用户无法完全信任Copilot、Gemini、Claude或其他任何AI助手的输出，而必须独立验证其结果。
AI助手的固有缺陷：幻觉与提示注入
幻觉现象：AI的不可靠性
AI助手的"幻觉"现象是指它们生成与事实不符或逻辑混乱的内容的能力。这一缺陷使得AI助手的输出变得不可靠，用户在使用这些工具处理重要信息时必须保持高度警惕。例如，在医疗、法律或金融等专业领域，幻觉可能导致严重后果，因为用户可能基于错误的信息做出决策。
提示注入：隐蔽的攻击向量
另一个常见的AI助手风险是"提示注入"，这是一类允许黑客在网站、简历和电子邮件中植入恶意指令的漏洞。AI助手被编程为急切地遵循指令，以至于它们无法区分用户提示中的有效指令与攻击者在不受信任的第三方内容中包含的指令。因此，AI助手给予攻击者的重视程度与用户相同。
这两种缺陷都可以被利用于攻击，目的是窃取敏感数据、运行恶意代码和盗窃加密货币。迄今为止，这些漏洞已被证明开发人员无法预防，在许多情况下，只能在发现漏洞后使用特定的变通方法修复。
微软的安全措施：足够还是不足？
微软在公告中承认："随着这些功能的引入，AI模型在行为方面仍然存在功能限制，偶尔可能会产生幻觉并产生意外输出。此外，代理AI应用引入了新的安全风险，如跨提示注入(XPIA)，其中嵌入在UI元素或文档中的恶意内容可以覆盖代理指令，导致意外操作，如数据泄露或恶意软件安装。"
微软表示，只有经验丰富的用户才应该启用Copilot Actions，该功能目前仅在Windows的测试版中可用。然而，该公司并未描述这些用户应接受何种培训或具备何种经验，也不应采取哪些措施来防止其设备受到攻击。当被问及这些细节时，微软拒绝提供。
独立研究员凯文·博蒙特(Kevin Beaumont)将微软的警告比作几十年来关于Office应用程序中使用宏的危险警告。尽管长期以来一直有这样的建议，但宏仍然是黑客秘密在Windows机器上安装恶意软件的最容易得手的目标之一。博蒙特将这种情况比作"在漫威超级英雄毒品上的宏"，暗示AI助手的潜在风险比传统宏更为严重。
企业环境下的AI安全挑战
博蒙特经常被雇用应对企业内部重大的Windows网络入侵事件，他还质疑微软是否会提供一种方法，让IT管理员能够充分限制终端用户机器上的Copilot Actions，或识别网络中已启用该功能的机器。
微软发言人表示，IT管理员将能够使用Intune或其他MDM(移动设备管理)应用程序，在账户和设备级别启用或禁用代理工作区。
然而，批评者提出了其他担忧，包括即使是经验丰富的用户也难以检测针对他们正在使用的AI代理的利用攻击。
研究人员纪尧姆·罗索利尼(Guillaume Rossolini)表示："我看不出用户将如何防止他们所指的任何事情，除了不浏览网页外，我猜是这样。"
微软的安全目标：崇高但难以实现
微软的公告主要关注其在Windows中保护代理功能的整体战略。这些功能的目标包括：
- 不可否认性：所有操作和行为必须"可观察且与用户采取的操作可区分"
- 保密性：代理在收集、聚合或以其他方式利用用户数据时必须保持保密
- 用户批准：代理在访问用户数据或采取行动前必须获得用户批准
这些目标是合理的，但最终它们依赖于用户阅读警告风险的对话框，并在继续操作前获得仔细批准。这反过来又降低了保护措施对许多用户的价值。
加州大学圣地亚哥分校专攻AI安全的教授厄伦斯·费尔南德斯(Earlence Fernandes)告诉Ars："依赖用户点击权限提示的此类机制通常的警告同样适用。有时这些用户不完全理解发生了什么，或者他们可能只是习惯于一直点击'是'。在这种情况下，安全边界实际上并不是真正的边界。"
正如"ClickFix"攻击浪潮所证明的那样，许多用户可以被欺骗遵循极其危险的指令。虽然更经验丰富的用户（包括相当数量的Ars评论者）指责这些骗局中的受害者，但此类事件在多种原因下是不可避免的。在某些情况下，即使是谨慎的用户也会因为疲劳或情绪压力而失误。其他用户则 simply 缺乏做出明智决定的知识。
行业责任与用户保护
批评者表示，微软的警告无异于CYA（意为"掩盖你的屁股"），这是一种试图保护一方免受法律责任的策略。
批评者里德·米德克(Reed Mideke)表示："微软（就像行业中的其他人）不知道如何阻止提示注入或幻觉，这使其从根本上不适合任何严肃的事情。解决方案？将责任转移给用户。就像每个LLM聊天bot都有一个'顺便说一下，如果你用于任何重要的事情，请确保验证答案'的免责声明，但如果你已经知道答案，你根本不需要聊天bot。"
正如米德克所指出的，大多数批评也适用于其他公司（包括苹果、谷歌和Meta）将其集成到产品中的AI产品。这些集成通常开始作为可选功能，最终成为所有用户的默认功能，无论用户是否想要。
AI安全的前景与挑战
随着AI技术越来越深入地融入我们的日常生活和工作环境，安全问题变得越来越重要。微软Copilot Actions的警告只是冰山一角，揭示了AI技术快速普及背后隐藏的安全隐患。
技术层面的解决方案
从技术角度来看，解决AI助手的安全挑战需要多方面的努力：
- 改进模型架构：开发更能够区分用户输入和恶意输入的AI模型
- 增强输入验证：实施更严格的输入检查机制，防止恶意指令的注入
- 输出过滤：开发能够检测和过滤潜在危险输出的系统
- 透明度增强：提高AI决策过程的透明度，使用户能够理解AI为何做出特定决策
用户教育的重要性
技术解决方案虽然重要，但用户教育同样不可或缺。企业和开发者需要：
- 提供清晰的风险提示：以用户能够理解的方式明确告知AI功能的风险
- 开发直观的安全控制：设计易于使用的安全设置，让非技术用户也能有效保护自己
- 培养批判性思维：教育用户对AI输出保持适当怀疑，特别是在处理重要信息时
监管与行业标准的建立
随着AI技术的广泛应用，建立适当的监管框架和行业标准变得尤为重要：
- 制定AI安全标准：开发专门的AI安全测试和认证程序
- 明确责任归属：在AI导致损害的情况下，明确开发者和用户的法律责任
- 促进国际合作：由于AI是全球性技术，需要国际社会共同制定安全标准
结论：平衡创新与安全
AI技术的发展为我们的生活和工作带来了巨大便利，但同时也带来了前所未有的安全挑战。微软Copilot Actions的警告提醒我们，在追求技术创新的同时，不能忽视安全风险。
未来，AI技术的发展需要在创新和安全之间找到平衡点。这需要技术开发者、用户、监管机构和整个社会的共同努力。只有建立起完善的安全框架和用户保护机制，AI技术才能真正发挥其潜力，为人类社会带来更多积极影响。
作为用户，我们应该对AI功能保持适当警惕，了解其局限性，并在使用重要功能时采取额外的安全措施。作为技术开发者，应该将安全作为产品设计的重要组成部分，而不是事后考虑的因素。只有这样，我们才能在享受AI技术带来便利的同时，有效保护自己的数据和隐私安全。
