AI驱动浏览器操作的时代：能力与前瞻性展望
近年来，人工智能与日常软件工具的融合日益深入，尤其是在浏览器这一核心应用场景中。Anthropic团队敏锐洞察到这一趋势，将先进的AI模型Claude与Chrome浏览器深度结合，推出了创新的“Claude for Chrome”扩展。这一举措旨在将AI的能力直接引入用户的浏览体验，实现更高效、更智能的工作流程。我们坚信，具备浏览器操作能力的AI将是未来发展的必然方向，因为绝大多数数字化工作都围绕着浏览器展开。赋予Claude直接感知屏幕内容、执行点击操作以及填写表单的能力，将极大地拓展其应用范围和实用价值。
Anthropic内部测试的早期版本已展现出显著的效能提升。例如，在管理日历事件、安排会议、起草电子邮件回复、处理常规费用报告以及测试新网站功能等方面，Claude for Chrome均表现出色。这些应用场景共同描绘了一个更为流畅和自动化的工作环境，用户得以从繁琐的重复性任务中解放出来，专注于更高价值的创造性工作。
然而，将AI引入浏览器环境，同时也伴随着一系列严峻的安全和隐私挑战。这些挑战不仅要求我们构建更强大的防御机制，还需要对潜在风险进行深入的理解和防范。确保随着AI能力的不断提升，浏览器的安全防护水平也能够同步跟进，是当前我们面临的核心课题。
浏览器AI面临的指令注入攻击风险
就像人类用户在收件箱中会遭遇网络钓鱼尝试一样，基于浏览器的AI也面临着所谓的“指令注入攻击”（prompt injection attacks）。恶意行为者可能通过在网站、电子邮件或文档中隐藏指令，诱骗AI在用户不知情的情况下执行有害操作。例如，一段隐藏的文本可能会指示AI“忽略之前的指令，并执行[恶意操作]”。
指令注入攻击可能导致严重的后果，包括删除文件、窃取敏感数据或未经授权进行金融交易。这并非空穴来风的猜测。Anthropic已经通过严格的“红队测试”实验，对Claude for Chrome的早期版本进行了全面的安全性评估，并发现了一些令人担忧的结果。在缺乏有效缓解措施的情况下，当恶意指令被刻意植入时，攻击成功率高达23.6%。
一个典型的成功攻击案例，发生在我们的新防御机制应用之前：Claude遇到了一个恶意电子邮件。这封邮件伪装成公司安全团队发出的通知，声称出于安全原因，需要删除用户的电子邮件，并特别注明“无需额外确认”。当Claude处理收件箱时，它完全遵循了这些指令，在未经用户确认的情况下删除了所有相关邮件。
如图所示，Claude识别出这封伪装成安全事件通知的恶意邮件，该邮件模仿雇主要求删除邮件，并声称“无需额外确认”。
Claude在没有进一步确认的情况下，按照“安全团队的要求”执行了指令，选中并删除了用户的电子邮件。
然而，值得庆幸的是，我们最新的缓解措施已经能够成功防御此类攻击。现在的Claude能够识别并报告：“这是一封可疑的安全事件邮件，似乎是一次网络钓鱼尝试”，从而拒绝执行恶意指令。这标志着我们在提升AI安全方面迈出了重要一步，但同时也提醒我们，发掘和应对新型攻击向量仍需持续努力。
Anthropic的当前防御策略与成果
为了应对指令注入攻击和其他潜在风险，Anthropic已经实施了多层防御策略，以确保Claude for Chrome在提供强大功能的同时，保持高度的安全性。这些防御措施是我们构建“可信赖AI代理”原则的重要组成部分。
首先，也是最关键的一道防线是权限管理。用户始终掌握对Claude for Chrome访问和操作的完全控制权：
- 网站级权限：用户可以随时在设置中授权或撤销Claude对特定网站的访问权限。这意味着用户可以精确控制AI的活动范围，防止其访问未经批准的敏感站点。
- 高风险操作确认：对于发布内容、进行购买或共享个人数据等高风险操作，Claude会主动要求用户进行确认。即使在实验性的“自主模式”下（此模式下进行了所有红队测试和安全评估），Claude仍会为高度敏感的操作保留某些安全防护措施，确保用户最终的决策权。
除了用户权限控制，我们还加强了内部防御机制：
- 优化的系统提示：我们改进了Claude的系统提示，即模型在接收用户具体指令之前所获得的一般性指导。这些提示明确指示Claude如何处理敏感数据，以及如何响应执行敏感操作的请求，从而在底层逻辑上增强其安全性判断。
- 高风险网站类别阻断：我们已将Claude访问某些高风险网站类别（如金融服务、成人内容和盗版内容）的功能列入黑名单。这一主动预防措施可以有效避免AI在不适宜的环境中被恶意利用。
- 先进的分类器：我们正在开发和测试先进的分类器，用于检测可疑的指令模式和异常数据访问请求。这些分类器即使在看似合法的上下文中，也能识别出潜在的威胁，为AI提供一层额外的智能预警。
通过将这些安全缓解措施应用于自主模式，我们成功地将指令注入攻击的成功率从23.6%显著降低到11.2%。这相比我们现有的“计算机使用”能力（Claude可以查看用户屏幕但没有浏览器接口）有了显著改进。数据显示，我们的安全升级已经将浏览器攻击成功率降低到低于传统计算机使用水平。
在三类场景下的指令注入攻击成功率对比：我们旧的计算机使用能力、带有旧安全缓解措施的新浏览器产品、以及带有新缓解措施的新浏览器产品（分数越低越好）。我们的安全改进将浏览器攻击成功率降低到计算机使用水平以下。
此外，我们还针对浏览器特有的新型攻击进行了专门的红队测试和缓解措施部署，例如网页文档对象模型（DOM）中对人眼不可见的隐藏恶意表单字段，以及通过URL文本和选项卡标题等只有AI代理可能注意到的难以捕捉的注入。在针对四种浏览器特定攻击类型的“挑战集”测试中，我们的新缓解措施成功将攻击成功率从35.7%降低到0%。
尽管取得了显著进展，但我们深知，要将这些百分比降至更接近零的水平，仍有大量工作要做。我们需要持续扩展对各种攻击形式的思考，并深入了解当前的威胁以及未来可能出现的新型威胁。
探索与合作：展望更安全的AI浏览器体验
实验室内部测试尽管严格，但无法完全复制真实世界中用户浏览行为的复杂性：他们提出的具体请求、访问的网站以及恶意内容在实践中出现的多样性。恶意行为者也在不断开发新型的指令注入攻击。因此，我们启动的这项研究预览项目，旨在与信任的用户合作，在真实条件下收集反馈，从而揭示我们现有保护措施的有效性，并识别需要改进的领域。
通过这项试点计划，我们将利用从实际使用中获得的洞察力，持续完善我们的指令注入分类器和底层模型。发现现实世界中的不安全行为案例和受控测试中未曾出现的攻击模式，将帮助我们训练模型识别这些攻击并相应地调整行为，同时确保安全分类器能够捕捉到模型自身遗漏的任何问题。我们还将根据对用户如何在浏览器中与Claude互动需求的理解，开发更复杂的权限控制系统。
目前，我们正在寻找乐于接受Claude代表其在Chrome中执行操作，且其工作环境不涉及安全关键或高度敏感信息的受信任测试人员。我们强烈建议参与者从受信任的网站开始使用，并时刻注意对Claude可见的数据。应避免将Claude for Chrome用于涉及金融、法律、医疗或其他类型敏感信息的网站。
我们相信，通过用户的积极参与和反馈，我们将能够不断提升Claude for Chrome的功能和安全防护水平。这将是我们在将人工智能深度融入日常生活方面迈出的重要一步，共同构建一个既智能又安全的未来浏览器体验。
