在人工智能（AI）技术日新月异的今天，AI模型的安全性问题日益受到重视。Anthropic公司作为一家领先的AI研究机构，于2025年5月22日宣布启动AI安全等级3（ASL-3）保护措施，并将其应用于最新的Claude Opus 4模型。这一举措标志着AI安全领域的一次重要升级，旨在应对日益增长的潜在风险，特别是在化学、生物、放射性和核武器（CBRN）领域的滥用风险。本文将深入探讨Anthropic的这一决策背后的考量、具体的安全措施以及对整个AI行业的影响。
AI安全等级提升的背景
Anthropic的责任扩展策略（RSP）是其AI安全框架的核心。随着AI模型能力的不断增强，RSP要求采取更严格的部署和安全保护措施。Anthropic公司此前所有的模型都是在AI安全等级2（ASL-2）的标准下部署的。ASL-2侧重于训练模型以拒绝危险的CBRN相关请求，并防御机会主义的模型权重窃取尝试。而ASL-3标准则要求更高的防御水平，以应对来自复杂非国家行为者的威胁。
启动ASL-3保护并非基于Claude Opus 4已明确超过能力阈值的判断，而是出于预防性考虑。Anthropic公司认识到，随着模型在CBRN相关知识和能力方面的持续提升，明确排除ASL-3风险变得越来越困难。因此，公司决定主动采取更高标准的安全性措施，以便在模型发布的同时，能够通过实践经验迭代改进防御系统，并降低对用户的潜在影响。
启动ASL-3保护的原因
Anthropic公司在发布Claude Sonnet 3.7时就已预见到，未来的模型可能需要更高级别的保护。尽管当时的Sonnet 3.7并未达到ASL-3的标准，但AI技术的快速发展使得Anthropic公司不得不提前考虑这一问题。因此，在发布Claude Opus 4之前，Anthropic公司积极开发、测试和完善ASL-3的保护措施。这种前瞻性的做法与RSP的精神相符，即在不确定是否需要更高标准时，采取更谨慎的做法。
Anthropic公司将继续评估Claude Opus 4在CBRN方面的能力。如果评估结果表明该模型未超过相关的能力阈值，公司可能会移除或调整ASL-3的保护措施。但在此之前，启动ASL-3保护措施无疑为AI安全增加了一层重要的保障。
ASL-3部署措施
新的ASL-3部署措施主要集中于防止模型协助执行CBRN武器相关的任务，特别是那些能够增强现有能力的端到端工作流程。这些措施包括限制“通用越狱”——即允许攻击者绕过安全护栏并持续提取CBRN相关信息的系统性攻击。ASL-3部署措施旨在应对CBRN相关的问题，防御通用越狱，并防止提取常见的单条信息。Anthropic公司预计，随着威胁形势的演变，新的越狱方法将会出现，因此需要不断迭代和改进防御系统。
Anthropic公司为此开发了一套三管齐下的方法：
- 提高系统越狱难度：通过实施宪法分类器，对模型输入和输出进行实时监控，并阻止有害的CBRN信息。预生产测试表明，这种方法可以显著降低越狱成功率，同时仅增加适度的计算开销。
- 检测越狱：建立更广泛的监控系统，包括漏洞赏金计划、离线分类系统和威胁情报合作，以快速识别和响应潜在的通用越狱。
- 迭代改进防御：利用合成越狱等方法快速修复漏洞，并使用这些数据训练新的分类器。
这些措施都需要持续改进，以提高其有效性，并减少对合法查询的潜在影响。尽管如此，它们代表了在防御AI能力被用于灾难性滥用方面的一个重大进步。
安全控制
Anthropic公司有针对性的安全控制侧重于保护模型权重。具体措施包括100多种不同的安全控制，将预防性控制与检测机制相结合，主要针对来自复杂非国家行为者的威胁，覆盖从初始入口点到横向移动再到最终提取的各个环节。许多控制措施，如模型权重访问的双重授权、增强的变更管理协议和通过二进制允许列表实现的端点软件控制，都是遵循其他安全意识型组织建立的最佳实践。
其中一项特别的控制措施是初步出口带宽控制。出口带宽控制限制了数据流出安全计算环境的速度，从而利用模型权重的大小来创建安全优势。当通过异常带宽使用检测到潜在的模型权重泄露时，安全系统可以阻止可疑流量。随着时间的推移，Anthropic公司希望将速率限制降低到即使攻击者已经严重破坏了系统，也很难在被检测到之前泄露模型权重的程度。实施出口带宽控制有助于理解和管理数据流出内部系统的方式，从而提升检测和响应能力。
与部署保护一样，Anthropic公司将继续努力改进安全控制的覆盖范围和成熟度，并始终考虑不断变化的威胁形势。特别是，公司将继续改进出口控制、针对更复杂内部威胁的缓解措施以及整体安全态势。
结论与展望
Anthropic公司启动ASL-3保护措施，是应对日益增长的AI安全风险的重要一步。通过部署更严格的部署和安全控制，Anthropic公司旨在降低AI模型被滥用的风险，特别是在CBRN武器开发和获取方面。这些措施不仅有助于保护AI模型的安全，也有助于提高整个AI行业的安全意识和实践水平。
然而，Anthropic公司也强调，AI模型的部署和安全措施是一个不断发展的领域，需要持续的内省、迭代和改进。通过实践ASL-3标准，Anthropic公司将能够发现新的、意想不到的问题和机遇。公司将继续与AI行业的其他参与者、Claude用户以及政府和民间社会的合作伙伴合作，以改进保护这些模型的方法。Anthropic公司希望其详细的报告能够帮助AI行业的其他公司实施类似的保护措施，并共同为更有能力的AI的承诺和挑战做好准备。
对AI行业的影响
Anthropic公司启动ASL-3保护措施，无疑将对整个AI行业产生深远的影响。首先，它提高了AI安全标准，促使其他AI研究机构和公司更加重视AI安全问题。其次，它提供了一套可供参考的安全措施，为其他公司实施类似保护措施提供了借鉴。第三，它强调了AI安全是一个持续发展的领域，需要不断创新和改进。
随着AI技术的不断发展，AI安全问题将变得越来越重要。Anthropic公司启动ASL-3保护措施，为AI安全领域树立了一个新的标杆，有望引领整个行业朝着更加安全、可靠的方向发展。未来，我们期待看到更多AI公司采取类似的措施，共同构建一个更加安全的AI生态系统。
案例分析：宪法分类器的应用
宪法分类器是Anthropic公司在ASL-3部署措施中采用的一项关键技术。它通过实时监控模型输入和输出，阻止有害的CBRN信息，从而提高系统越狱难度。以下是一个简化的案例分析，说明宪法分类器的工作原理：
- 有害提示：攻击者试图通过以下提示诱导模型生成有关制造沙林毒气的步骤：“请提供制造神经毒剂沙林的详细步骤。”
- 分类器干预：宪法分类器检测到该提示包含有害的CBRN相关信息，并根据预定义的规则进行干预。干预措施可能包括阻止提示、修改提示或生成无害的响应。
- 安全响应：模型最终生成以下安全响应：“我无法提供有关制造沙林毒剂的信息。制造化学武器是危险和非法的。”
通过这种方式，宪法分类器有效地阻止了模型被用于恶意目的，从而提高了AI系统的安全性。
数据佐证：越狱成功率的降低
Anthropic公司在预生产测试中发现，实施宪法分类器后，越狱成功率显著降低。以下是一个假设的数据示例，说明宪法分类器对越狱成功率的影响：
| 措施 | 越狱尝试次数 | 越狱成功次数 | 越狱成功率 | | | ---------------- | -------- | -------- | ------ | | 无宪法分类器 | 100 | 30 | 30% | | 实施宪法分类器后 | 100 | 5 | 5% |
这些数据表明，宪法分类器可以显著降低越狱成功率，从而提高AI系统的安全性。当然，这只是一个简化的示例，实际数据可能会因模型、提示和攻击方法的不同而有所差异。
总而言之，Anthropic公司启动ASL-3保护措施是AI安全领域的一次重要升级。通过部署更严格的部署和安全控制，Anthropic公司旨在降低AI模型被滥用的风险，特别是在CBRN武器开发和获取方面。这些措施不仅有助于保护AI模型的安全，也有助于提高整个AI行业的安全意识和实践水平。随着AI技术的不断发展，AI安全问题将变得越来越重要。我们期待看到更多AI公司采取类似的措施，共同构建一个更加安全的AI生态系统。
