在人工智能技术飞速发展的今天，如何确保AI系统的安全性和可控性已成为全球关注的焦点。Anthropic作为领先的人工智能研究公司，正通过与政府机构的创新合作，开创AI安全治理的新模式。本文将深入探讨Anthropic与美国CAISI（人工智能标准与创新中心）和英国AISI（人工智能安全研究所）的合作历程、关键发现以及对整个行业的启示。
背景介绍：公私合作的创新模式
在过去一年中，Anthropic与两个重要的政府机构建立了合作关系：美国CAISI和英国AISI。这些政府机构专门负责评估和改进AI系统的安全性。我们的合作始于初步咨询，但逐渐演变为持续性的伙伴关系，CAISI和AISI团队获得了在我们模型开发各阶段访问系统的权限，从而能够持续测试我们的系统。
政府在AI安全评估中发挥着独特作用，特别是在网络安全、情报分析和威胁建模等国家安全领域拥有深厚专业知识。结合他们的机器学习专长，政府团队能够评估特定的攻击向量和防御机制。他们的反馈帮助我们改进安全措施，使系统能够抵御最复杂的滥用尝试。
与独立外部专家合作识别AI系统漏洞是Anthropic安全方法的核心部分，对于防止可能造成现实伤害的模型滥用至关重要。这种合作模式代表了AI安全治理的新方向，即通过公私协作共同应对AI安全挑战。
关键发现：漏洞识别与安全强化
与CAISI和AISI的合作已经带来了重要发现，帮助我们强化了防止模型恶意使用的工具。根据与各机构的协议，每个组织在我们部署前评估了多个版本的宪法分类器（Constitutional Classifiers）——这是我们用来识别和防止越狱攻击的防御系统——在Claude Opus 4和4.1等模型上的表现，以帮助识别漏洞并构建强大的防护措施。
宪法分类器测试
我们向CAISI和AISI提供了多个早期版本的宪法分类器，并随着改进继续提供最新系统的访问权限。我们一起对这些分类器进行了压力测试，政府红队成员在部署前后都识别出了一系列漏洞，我们的技术团队利用这些发现加强安全措施。这些漏洞包括：
1. 提示注入漏洞的发现
政府红队成员通过提示注入攻击发现了我们早期分类器的弱点。这类攻击使用隐藏指令来诱骗模型执行系统设计者不期望的行为。测试人员发现，特定的注释（如虚假声称已经过人工审核）可以完全绕过分类器检测。我们已经修补了这些漏洞。
2. 安全架构的压力测试
他们开发了一种复杂的通用越狱方法，以规避我们的标准检测方式编码有害交互。这一发现促使我们从根本上重构安全架构，以解决潜在漏洞类别，而不仅仅是修补单个漏洞。
3. 基于密码的攻击识别
使用密码、字符替换和其他混淆技术对有害请求进行编码，以规避我们的分类器。这些发现推动了检测系统的改进，使其能够识别和阻止伪装的有害内容，无论使用何种编码方法。
4. 输入和输出混淆攻击
发现使用针对我们特定防御的复杂混淆方法的通用越狱，例如将有害字符串分割到更广泛上下文中的看似无害的组件中。识别这些盲点使我们的过滤机制能够进行有针对性的改进。
5. 自动化攻击优化
构建了新的自动化系统，逐步优化攻击策略。他们最近使用该系统通过从效果较差的越狱迭代产生了一个有效的通用越狱，我们正利用这一发现改进我们的安全措施。
评估与风险方法论
除了识别特定漏洞外，CAISI和AISI团队还帮助我们加强了对安全更广泛的评估方法。他们对证据要求、部署监控和快速响应能力的外部视角，在压力测试我们的假设和识别可能需要额外证据支持威胁模型的领域方面具有宝贵价值。
有效协作的关键经验
我们的经验教会了我们几个关于如何有效与政府研究和标准机构合作以改进模型安全性的重要经验。
全面模型访问增强红队测试效果
我们的经验表明，给予政府红队成员更深入的系统访问权限，能够实现更复杂的漏洞发现。我们提供了几个关键资源：
- 部署前安全原型：测试人员可以在防护系统上线前评估和迭代，在部署前识别弱点。
- 多种系统配置：我们提供了从完全无保护版本到具有完整防护系统的模型。这种方法让测试人员首先针对基础模型开发攻击，然后逐步改进技术以绕过日益复杂的防御。
- 广泛的文档和内部资源：我们向可信的政府红队成员提供了我们的安全架构细节、记录的漏洞、安全报告和细粒度内容政策信息（包括特定的禁止请求和评估标准）。这种透明性帮助团队针对高价值测试领域，而不是盲目地寻找弱点。
- 实时安全数据加速漏洞发现：我们向政府红队成员直接提供分类器分数，使他们能够改进攻击策略并进行更有针对性的探索性研究。
迭代测试实现复杂漏洞发现
虽然单次评估有价值，但持续合作使外部团队能够开发深入的系统专业知识并发现更复杂的漏洞。在关键阶段，我们与合作伙伴保持每日沟通渠道和频繁的技术深入交流。
互补方法提供更强大的安全
CAISI和AISI评估与我们更广泛的生态系统协同工作。公共漏洞赏金计划从广泛的人才库中生成大量、多样化的漏洞报告，而专业专家团队可以帮助识别需要深厚技术知识才能发现的复杂、微妙的攻击向量。这种多层策略有助于我们同时捕获常见漏洞和复杂边缘情况。
持续合作与行业影响
开发强大且安全的AI模型不仅需要技术创新，还需要行业与政府之间新的合作形式。我们的经验表明，当技术团队密切合作以识别和应对风险时，公私伙伴关系最为有效。
随着AI能力的进步，对缓解措施独立评估的作用日益重要。我们欣慰地看到其他AI开发者也在与这些政府机构合作，并鼓励更多公司这样做并更广泛地分享他们的经验。
这种合作模式为整个AI行业树立了标杆，展示了如何通过公私协作共同应对AI安全挑战。随着技术的不断发展，这种合作将继续深化，为AI系统的安全性和可控性提供更强有力的保障。
未来展望：AI安全治理的新方向
Anthropic与CAISI和AISI的合作代表了AI安全治理的新方向。随着AI技术的不断发展，安全挑战也将日益复杂。未来，我们需要建立更加完善的评估框架，开发更先进的安全技术，并加强国际合作，共同应对AI安全挑战。
同时，我们也需要平衡安全与创新的关系，确保AI系统在安全可控的前提下，能够充分发挥其潜力，为人类社会带来更多福祉。这需要政府、企业、研究机构和公众的共同努力，构建一个更加安全、可信的AI生态系统。
结语
Anthropic与美英政府机构的合作模式为AI安全治理提供了新的思路和实践经验。通过公私协作，我们能够更有效地识别和应对AI系统中的安全风险，为整个行业树立了标杆。随着技术的不断发展，这种合作将继续深化，为AI系统的安全性和可控性提供更强有力的保障。我们期待看到更多企业加入这一行列，共同推动AI安全治理的发展，为构建一个更加安全、可信的AI生态系统贡献力量。
行业启示与建议
基于Anthropic的经验，我们为AI行业提出以下建议：
建立公私合作机制：AI企业应积极与政府研究机构建立合作关系，共同应对AI安全挑战。
重视红队测试：通过专业的红队测试，主动发现和修复系统漏洞，提高AI系统的安全性。
采用迭代测试方法：持续进行测试和改进，不断优化安全措施，应对不断变化的威胁环境。
加强透明度与共享：在保护商业机密的前提下，适当分享安全经验和最佳实践，促进行业共同进步。
平衡安全与创新：在确保安全的前提下，鼓励技术创新，推动AI技术的健康发展。
通过这些建议的实施，我们有信心构建一个更加安全、可信的AI生态系统，为人类社会带来更多福祉。
