在人工智能技术飞速发展的今天，确保AI系统的安全性和可靠性已成为行业面临的核心挑战。本文将深入探讨Anthropic与美国AI标准与创新中心(CAISI)和英国AI安全研究所(AISI)的创新合作模式，揭示这种公私协作如何为AI安全领域带来突破性进展。
背景介绍：政府与企业的独特价值组合
在过去一年中，Anthropic与两家政府机构建立了深入的合作关系，这些机构专门致力于评估和提升AI系统的安全性。我们的合作始于初步咨询，但逐渐发展为持续性的伙伴关系，CAISI和AISI团队获得了在我们模型开发各个阶段访问系统的权限，从而能够对我们的系统进行持续测试。
政府机构在这一合作中带来了独特的能力，特别是在网络安全、情报分析和威胁建模等国家安全领域拥有深厚的专业知识。这些专业知识结合他们的机器学习专业知识，使他们能够评估特定的攻击向量和防御机制。他们的反馈帮助我们改进安全措施，使系统能够抵御最复杂的滥用尝试。
与独立外部专家合作识别AI系统中的漏洞是Anthropic安全方法的核心部分，对于防止模型可能造成的现实世界伤害至关重要。
漏洞发现与解决：合作带来的关键成果
这种合作已经带来了关键发现，帮助我们加强了防止模型恶意使用的工具。根据与CAISI和AISI的协议，每个组织在我们部署前评估了我们宪法分类器(Constitutional Classifiers)的多个迭代版本——这是我们用来识别和防止越狱的防御系统——在Claude Opus 4和4.1等模型上，以帮助识别漏洞并构建强大的保障措施。
宪法分类器测试
我们向CAISI和AISI提供了我们宪法分类器的几个早期版本，并且在不断改进的过程中继续向他们提供最新系统的访问权限。我们一起对这些分类器进行了压力测试，政府红队成员在部署前后都识别出了一系列漏洞，我们的技术团队利用这些发现加强安全措施。
具体发现的漏洞包括：
- 揭示提示注入漏洞：政府红队成员通过提示注入攻击识别了我们早期分类器的弱点。这类攻击使用隐藏指令来诱骗模型执行系统设计者未 intended 的行为。测试人员发现，特定注释（如虚假声称已完成人工审查）可以完全绕过分类器检测。我们已经修补了这些漏洞。
- 压力测试安全架构：他们开发了一种复杂的通用越狱方法，以规避标准检测方式编码有害交互。这一发现促使我们从根本上重构安全架构，以解决潜在的漏洞类别，而不是简单地修补单个漏洞。
- 识别基于密码的攻击：使用密码、字符替换和其他混淆技术编码有害请求，以逃避我们的分类器。这些发现推动了检测系统的改进，使其能够识别和阻止无论采用何种编码方法的伪装有害内容。
- 输入和输出混淆攻击：发现使用针对我们特定防御量身定制的复杂混淆方法的通用越狱，例如将有害字符串分解为更广泛上下文中的看似无害的组件。识别这些盲点使我们能够有针对性地改进过滤机制。
- 自动化攻击优化：构建了新的自动化系统，逐步优化攻击策略。他们最近使用该系统通过迭代效果较差的越狱方法产生了有效的通用越狱，我们正在利用这些发现改进我们的安全措施。
评估与风险方法论
除了识别特定漏洞外，CAISI和AISI团队还帮助我们加强了更广泛的安全方法。他们在证据要求、部署监控和快速响应能力方面的外部视角对于压力测试我们的假设和识别可能需要额外证据支持威胁模型的领域具有宝贵价值。
有效合作的关键经验
我们的经验教会了我们几个关于如何有效参与政府研究和标准机构以改进模型安全性的重要经验。
全面模型访问增强红队测试效果
我们的经验表明，让政府红队成员更深入地访问我们的系统，能够发现更复杂的漏洞。我们提供了几个关键资源：
- 部署前安全原型：测试人员能够在保护系统上线前进行评估和迭代，在安全措施部署前识别弱点。
- 多种系统配置：我们提供了从完全无保护版本到具有完整安全措施的模型在内的各种保护级别的模型。这种方法让测试人员首先针对基础模型开发攻击，然后逐步改进技术以绕过日益复杂的防御。仅帮助模型变体还实现了精确的有害输出评分和能力基准测试。
- 广泛的文档和内部资源：我们向值得信赖的政府红队成员提供了我们的安全架构细节、记录的漏洞、安全报告和细化的内容政策信息（包括特定的禁止请求和评估标准）。这种透明性帮助团队针对高价值测试区域进行测试，而不是盲目地寻找弱点。
- 实时安全数据加速漏洞发现：我们向政府红队成员提供了分类器分数的直接访问权限。这使得测试人员能够优化攻击策略并进行更有针对性的探索性研究。
迭代测试允许复杂漏洞发现
尽管单次评估具有价值，但持续合作使外部系统能够开发深入的系统专业知识并发现更复杂的漏洞。在关键阶段，我们与合作伙伴保持了每日沟通渠道和频繁的技术深入交流。
互补方法提供更强大的安全性
CAISI和AISI评估与我们更广泛的生态系统协同工作。公共漏洞赏金计划从广泛的人才库中生成大量多样化的漏洞报告，而专业专家团队可以帮助识别需要深厚技术知识才能发现的复杂、微妙的攻击向量。这种多层策略有助于确保我们既能捕获常见漏洞，又能发现复杂的边缘情况。
持续合作的未来展望
使强大的AI模型安全且有益不仅需要技术创新，还需要行业与政府之间新的合作形式。我们的经验表明，当技术团队紧密合作以识别和解决风险时，公私伙伴关系最为有效。
随着AI能力的进步，独立评估缓解措施的作用变得越来越重要。我们欣慰地看到其他AI开发者也在与这些政府机构合作，并鼓励更多公司这样做并更广泛地分享他们的经验。
行业启示与实践建议
基于我们的合作经验，我们向AI行业提出以下建议：
建立开放的沟通渠道：企业与政府机构之间应建立直接、透明的沟通机制，确保信息流动顺畅。
采用迭代式安全测试：安全测试不应是一次性活动，而应持续进行，随着系统演变不断调整测试方法。
平衡透明与安全：在保护知识产权的同时，尽可能提供必要的系统信息，使测试人员能够有效开展工作。
重视政府机构的独特视角：政府机构在国家安全和威胁建模方面的专业知识是私营部门难以复制的宝贵资源。
构建多层次安全生态系统：结合内部测试、公共漏洞赏金和政府专家评估，形成全方位的安全防护网络。
结论
Anthropic与CAISI和AISI的合作展示了公私伙伴关系在提升AI安全性方面的巨大潜力。通过深度技术协作、全面模型访问和迭代测试方法，我们不仅发现并修复了关键漏洞，还建立了更强大的安全架构。这种合作模式为整个行业提供了有价值的参考，有助于构建更安全、更可靠的AI系统，确保人工智能技术的负责任发展。
