引言
随着人工智能技术的飞速发展，AI系统已深入各行各业，从医疗诊断到金融决策，从自动驾驶到内容创作。然而，随着AI能力的不断提升，其安全性问题也日益凸显。如何确保AI系统不被恶意利用，防止产生有害输出，成为业界面临的重大挑战。在此背景下，Anthropic与美国CAISI（人工智能标准和创新中心）和英国AISI（人工智能安全研究所）的合作模式，为AI安全治理提供了全新思路。
政府机构在AI安全中的独特价值
政府机构在AI安全评估中拥有不可替代的独特优势。与传统的第三方安全评估机构相比，CAISI和AISI等政府机构拥有深厚的国家安全领域专业知识，包括网络安全、情报分析和威胁建模等方面。这些专业知识使他们能够从更宏观的视角评估AI系统的潜在风险，特别是那些可能影响国家安全和社会稳定的威胁。
政府机构还具备丰富的资源调配能力和政策影响力，能够推动建立更完善的AI安全标准和评估框架。此外，政府机构通常拥有跨部门协作的经验，能够整合来自不同领域的专家意见，形成更全面的安全评估体系。
公私合作模式的演进
Anthropic与CAISI和AISI的合作并非一蹴而就，而是经历了一个逐步深化的过程。最初，这种合作仅限于初步咨询，但随着时间的推移，已发展为持续性的合作伙伴关系。在这一过程中，CAISI和AISI团队获得了Anthropic系统在各个模型开发阶段的访问权限，从而能够对系统进行持续测试。
这种合作模式的演进反映了AI安全评估的复杂性。一次性的安全测试难以发现所有潜在漏洞，特别是那些需要深入理解系统内部工作机制才能识别的复杂问题。只有通过持续的合作和测试，才能逐步完善AI系统的安全防护。
宪法分类器的测试与改进
宪法分类器（Constitutional Classifiers）是Anthropic开发的一种防御系统，用于识别和防止越狱攻击（jailbreaks）。在与CAISI和AISI的合作中，这一系统经历了多轮测试和改进。
测试方法与发现
政府红队测试人员获得了多个早期版本的宪法分类器访问权限，并随着系统的不断改进持续获得最新版本的访问权限。通过这种合作，双方对分类器进行了压力测试，政府测试人员识别出了多种漏洞，包括：
提示注入漏洞：政府测试人员通过提示注入攻击发现了早期分类器的弱点。这类攻击使用隐藏指令来诱使模型执行系统设计者未预期的行为。测试人员发现，某些特定标注（如虚假声称已完成人工审核）可以完全绕过分类器检测。这些漏洞现已得到修复。
防御架构压力测试：测试人员开发了一种复杂的通用越狱方法，通过编码有害交互来规避标准检测方法。这一发现促使Anthropic从根本上重构了其防御架构，以解决潜在的漏洞类别。
基于密码的攻击：测试人员使用密码、字符替换和其他混淆技术对有害请求进行编码，以逃避分类器检测。这些发现推动了检测系统的改进，使其能够识别和阻止经过编码的有害内容，无论使用何种编码方法。
输入和输出混淆攻击：测试人员发现了针对特定防御的通用越狱方法，例如将有害字符串分割成更广泛背景中看似无害的组件。识别这些盲点使Anthropic能够有针对性地改进过滤机制。
自动化攻击优化：测试人员构建了新的自动化系统，能够逐步优化攻击策略。他们最近使用该系统从一个效果较差的越狱方法迭代生成了一个有效的通用越狱，Anthropic正利用这些发现改进其安全措施。
评估与风险方法论
除了识别特定漏洞外，CAISI和AISI团队还帮助加强了Anthropic更广泛的安全方法。他们对证据要求、部署监控和快速响应能力的外部视角，在压力测试Anthropic的假设和识别可能需要额外证据支持威胁模型的领域方面具有宝贵价值。
有效合作的关键经验
通过这次合作，Anthropic总结出了几个关于如何有效与政府研究及标准机构合作以提高模型安全性的重要经验。
全面模型访问提升红队测试效果
经验表明，给予政府红队测试人员更深入的系统访问权限，能够发现更复杂的漏洞。Anthropic提供了几个关键资源：
部署前安全原型：测试人员能够在保护系统上线前对其进行评估和迭代，识别部署前的弱点。
多种系统配置：Anthropic提供了从完全不受保护版本到具有完整保护系统的各种模型配置。这种方法使测试人员首先能够针对基础模型开发攻击，然后逐步改进技术以绕过日益复杂的防御。仅提供帮助的模型变体还实现了精确的有害输出评分和能力基准测试。
广泛文档和内部资源：Anthropic向值得信赖的政府红队测试人员提供了其防御架构细节、记录的漏洞、安全报告和细粒度的内容政策信息（包括具体禁止的请求和评估标准）。这种透明性帮助团队将测试重点放在高价值区域，而不是盲目寻找弱点。
实时安全数据加速漏洞发现：Anthropic向政府红队测试人员直接提供了分类器分数，使他们能够改进攻击策略并进行更有针对性的探索性研究。
迭代测试实现复杂漏洞发现
虽然单次评估具有价值，但持续合作使外部团队能够发展深入的系统专业知识，并发现更复杂的漏洞。在关键阶段，Anthropic与合作伙伴保持了每日沟通渠道和频繁的技术深入交流。
互补方法提供更强大的安全性
CAISI和AISI评估与Anthropic更广泛的生态系统协同工作。公开的错误赏金计划从广泛的人才库中生成大量多样化的漏洞报告，而专业专家团队可以帮助发现需要深厚技术知识才能识别的复杂、微妙的攻击向量。这种多层策略有助于确保同时捕获常见漏洞和复杂的边缘情况。
持续合作的必要性
创建强大、安全且有益的AI模型不仅需要技术创新，还需要行业与政府之间新的合作形式。Anthropic的经验表明，当技术团队紧密合作以识别和解决风险时，公私合作伙伴关系最为有效。
随着AI能力的不断提升，独立评估缓解措施的作用变得越来越重要。Anthropic欣慰地看到其他AI开发者也在与这些政府机构合作，并鼓励更多公司加入并更广泛地分享他们的经验。
结论与展望
Anthropic与CAISI和AISI的合作模式为AI安全治理提供了重要参考。这种合作不仅帮助发现了单个系统漏洞，还推动了整体安全方法的改进。未来，随着AI技术的不断发展，这种公私合作模式将进一步扩展和完善，形成更加全面、有效的AI安全生态系统。
对于AI企业而言，主动与政府安全机构合作，不仅能够提升自身产品的安全性，还能够为整个行业的安全标准建设做出贡献。对于政府机构而言，与AI企业的合作则能够帮助他们更好地理解技术细节，制定更加科学合理的监管政策。
最终，只有通过多方合作，才能确保AI技术在造福人类的同时，最大限度地降低潜在风险。Anthropic与CAISI和AISI的合作模式，正是朝这一方向迈出的重要一步。
