在人工智能技术迅猛发展的今天，如何确保AI系统的安全性和可靠性已成为全球关注的焦点。Anthropic公司与美国人工智能标准与创新中心(CAISI)和英国人工智能安全研究所(AISI)的合作，为这一挑战提供了创新解决方案。这种政府与科技企业的深度协作模式，不仅强化了AI系统的防御能力，也为整个行业树立了安全标准的新标杆。
跨国协作的AI安全新框架
过去一年中，Anthropic与两个关键政府机构建立了持续的合作关系。美国CAISI和英国AISI作为专门评估和提升AI系统安全性的政府机构，为这一合作提供了独特的专业视角。合作从最初的咨询逐步发展为深度伙伴关系，CAISI和AISI团队获得了Anthropic系统在多个模型开发阶段的访问权限，实现了持续的系统测试。
政府在AI安全领域拥有独特优势，特别是在网络安全、情报分析和威胁建模等国家安全相关领域的专业知识。这些专业知识结合机器学习技术，使政府团队能够评估特定的攻击向量和防御机制。通过这种协作，Anthropic得以改进其安全措施，使系统能够抵御最复杂的使用尝试。
与独立外部专家合作识别AI系统漏洞是Anthropic安全方法的核心部分，对于防止模型被滥用造成现实世界危害至关重要。这种开放的合作态度反映了AI安全需要多方参与的核心理念。
漏洞发现与防御强化的实践路径
此次合作已经产生了关键发现，帮助Anthropic强化了防止模型恶意使用的工具。根据与CAISI和AISI的协议，这两个组织在部署前评估了Anthropic宪法分类器(Constitutional Classifiers)的多个迭代版本——一种用于识别和防止越狱的防御系统，对Claude Opus 4和4.1等模型进行评估，以帮助识别漏洞并构建强大的保障措施。
宪法分类器的联合测试
Anthropic向CAISI和AISI提供了多个早期版本的宪法分类器，并在持续改进的同时继续提供最新系统的访问权限。双方共同对这些分类器进行了压力测试，政府红队成员在部署前后都发现了一系列漏洞，而Anthropic技术团队则利用这些发现加强安全保障。
具体发现的漏洞包括：
提示注入漏洞的发现：政府红队成员通过提示注入攻击识别了早期分类器的弱点。这类攻击使用隐藏指令来诱骗模型执行系统设计者未 intended 的行为。测试人员发现，特定注释（如虚假声称已进行人工审查）可以完全绕过分类器检测。Anthropic已修补这些漏洞。
保障架构的压力测试：开发了一种复杂的通用越狱方法，以规避标准检测方式编码有害交互。这一发现促使Anthropic从根本上重构保障架构，以解决潜在的漏洞类别，而非简单修补单个漏洞。
基于密码的攻击识别：使用密码、字符替换和其他混淆技术对有害请求进行编码，以逃避分类器检测。这些发现推动了检测系统的改进，使其能够识别和阻止无论采用何种编码方法的伪装有害内容。
输入和输出混淆攻击：发现了使用针对特定防御的复杂混淆方法的通用越狱，例如将有害字符串分解为更广泛背景中看似无害的组件。识别这些盲点使过滤机制能够进行针对性改进。
自动化攻击优化：构建了新的自动化系统，逐步优化攻击策略。最近，该团队使用此系统通过迭代改进效果较差的越狱方法，生成了有效的通用越狱，Anthropic正利用这些发现改进安全保障。
评估与风险方法论
除了识别特定漏洞外，CAISI和AISI团队还帮助强化了Anthropic在安全方面的更广泛方法。他们在证据要求、部署监控和快速响应能力方面的外部视角，对于检验假设和识别可能需要额外证据支持威胁模型的领域具有重要价值。
有效协作的关键经验
Anthropic的经验揭示了与政府研究和标准机构有效合作以提高模型安全性的重要经验。
全面模型访问增强红队测试效果
经验表明，给予政府红队成员更深入的系统访问权限，能够实现更复杂的漏洞发现。Anthropic提供了几个关键资源：
- 部署前保障原型：测试人员能够在保障系统上线前评估和迭代保护系统，在部署前识别弱点。
- 多种系统配置：提供了从完全无保护版本到具有全面保障的模型在内的各种模型。这种方法使测试人员首先能够针对基础模型开发攻击，然后逐步改进技术以绕过日益复杂的防御。仅帮助模型变体还实现了精确的有害输出评分和能力基准测试。
- 广泛文档和内部资源：向受信任的政府红队成员提供了保障架构细节、记录的漏洞、保障报告和细粒度内容政策信息（包括具体禁止的请求和评估标准）。这种透明性帮助团队针对高价值测试领域开展工作，而非盲目搜索弱点。
- 实时保障数据加速漏洞发现：政府红队成员直接获得分类器分数访问权限，使他们能够优化攻击策略并进行更有针对性的探索性研究。
迭代测试实现复杂漏洞发现
尽管单一评估具有价值，但持续合作使外部团队能够发展深厚的系统专业知识，发现更复杂的漏洞。在关键阶段，Anthropic与合作伙伴保持了每日沟通渠道和频繁的技术深入交流。
互补方法提供更强大的安全保障
CAISI和AISI评估与Anthropic更广泛的生态系统协同工作。公共漏洞赏金项目从广泛的人才库中产生大量多样化的漏洞报告，而专业专家团队则有助于发现需要深厚技术知识才能识别的复杂、微妙的攻击向量。这种多层策略有助于确保我们既能捕获常见漏洞，又能发现复杂的边缘情况。
持续协作的未来展望
使强大的AI模型安全且有益不仅需要技术创新，还需要行业与政府之间新的合作形式。Anthropic的经验表明，当技术团队紧密合作以识别和应对风险时，公私合作伙伴关系最为有效。
随着AI能力的进步，对缓解措施独立评估的作用日益重要。Anthropic欣慰地看到其他AI开发者也在与这些政府机构合作，并鼓励更多公司这样做，并更广泛地分享他们的经验。
这种合作模式为AI安全治理提供了新思路，展示了政府机构与科技企业如何能够优势互补，共同应对AI安全挑战。通过开放、透明的协作，各方能够共享专业知识，加速安全创新，最终确保AI技术的负责任发展。
行业影响与启示
Anthropic与政府机构的合作模式对整个AI行业具有重要启示意义。首先，它证明了公私合作在AI安全领域的可行性和有效性，为其他企业提供了可借鉴的实践路径。其次，这种合作促进了安全知识的共享和最佳实践的传播，有助于提升整个行业的安全水平。
此外，这种协作模式还强调了持续迭代和测试在AI安全中的重要性。通过不断发现和修复漏洞，AI系统能够在真实威胁面前保持更强的抵抗力。这种持续改进的循环对于构建真正可靠的AI系统至关重要。
最后，这种合作模式也展示了政府在AI安全治理中的建设性角色。政府机构不仅能够提供监管框架，还能通过技术专长和独立评估，为AI安全做出实质性贡献。这种公私合作模式有望成为未来AI治理的主流方向。
结语：构建AI安全的共同未来
Anthropic与CAISI和AISI的合作代表了AI安全领域的前沿实践，展示了技术创新与制度创新相结合的强大潜力。通过开放系统访问、联合压力测试和迭代优化，各方共同识别并修复了多种AI系统漏洞，显著提升了AI系统的防御能力。
这种合作模式不仅对Anthropic自身有价值，也为整个行业树立了标准。随着AI技术的不断发展，安全挑战也将日益复杂，需要更多类似的公私合作来应对。通过分享经验、共同研发和持续改进，我们能够构建更加安全、可靠的AI系统，为人类创造更大的价值。
Anthropic向美国CAISI和英国AISI技术团队表示诚挚感谢，感谢他们的严格测试、深思熟虑的反馈和持续合作。他们的工作实质性地改善了系统的安全性，并推动了衡量AI保障有效性领域的发展。
