AI安全等级3保护措施启动：Anthropic公司 Claude Opus 4 的安全新纪元
Anthropic公司于2025年5月22日宣布，正式启动AI安全等级3（ASL-3）的部署和安全标准，并将其应用于最新的Claude Opus 4模型。这一举措标志着人工智能安全领域的一次重要升级，旨在应对日益增长的潜在风险，尤其是在化学、生物、放射性和核武器（CBRN）开发和获取方面的滥用。
背景：责任扩展策略（RSP）
Anthropic的责任扩展策略（RSP）是其AI安全框架的核心。该策略强调，随着AI模型能力的增强，必须采取相应增强的部署和安全保护措施。
- 部署措施：主要针对特定类别的滥用风险，特别是防止AI模型被用于开发CBRN武器。
- 安全控制：旨在防止模型权重被盗，因为模型权重是AI智能和能力的核心。
RSP为模型设定了能力阈值。一旦模型达到这些阈值，或无法确定其是否远低于这些阈值，就必须实施更高等级的AI安全标准。在此之前，Anthropic的所有模型均在AI安全等级2（ASL-2）的标准下部署，该标准包括训练模型拒绝危险的CBRN相关请求，并防御机会主义的权重盗窃尝试。ASL-3标准则要求针对部署和安全威胁提供更高级别的防御，以应对复杂的非国家行为者的潜在威胁。
启动ASL-3的原因
Anthropic承认，尚未完全确定Claude Opus 4的能力是否真正需要ASL-3标准的保护。但由于CBRN相关知识和能力的持续进步，Anthropic认为无法像以前的模型那样明确排除ASL-3的风险。因此，公司决定主动启动ASL-3保护措施，以便在实际应用中不断改进防御，并减少对用户的潜在影响。
Anthropic强调，这种做法符合RSP的精神，即允许在不确定是否需要更高标准的情况下，谨慎地部署模型。公司将继续评估Claude Opus 4的CBRN能力。如果确定该模型未超过相关能力阈值，可能会取消或调整ASL-3保护措施。
全新的部署措施：三重防线
ASL-3的部署措施主要集中于防止模型协助完成与CBRN武器相关的任务，特别是防止其协助完成端到端的CBRN工作流程。为此，Anthropic开发了一种三管齐下的方法：
- 增强系统的抗越狱能力：通过实施宪法分类器，实时监控模型输入和输出，并阻止有害的CBRN信息。
- 检测越狱行为：建立更广泛的监控系统，包括漏洞赏金计划和威胁情报合作伙伴关系，以快速识别和响应可能导致CBRN滥用的通用越狱。
- 迭代改进防御：利用合成越狱等方法，不断训练新的分类器，以应对不断涌现的威胁。
这些措施都需要不断改进，以提高其有效性，并减少对合法查询的潜在影响。尽管如此，它们代表了在防御AI能力被灾难性滥用方面取得的重大进展。
安全升级：保护模型权重
Anthropic的安全控制主要集中于保护模型权重，这些权重是关键的数值参数，一旦泄露，可能导致未经授权的访问。Anthropic采取了100多项不同的安全控制措施，将预防性控制与检测机制相结合，主要针对来自复杂非国家行为者的威胁。这些控制措施包括双重授权、增强的变更管理协议和端点软件控制等。
其中一项独特的控制措施是出口带宽控制，该措施限制了数据流出安全计算环境的速度。由于模型的权重非常大，限制出口网络流量可以利用模型权重的大小来创造安全优势。当检测到潜在的模型权重泄露时，安全系统可以阻止可疑流量。
Anthropic预计，随着时间的推移，速率限制将足够低，即使攻击者已经严重破坏了系统，也很难在被检测到之前泄露模型权重。实施出口带宽控制有助于理解和管理数据流出内部系统的方式，从而提高了检测和响应能力。
Anthropic将继续改进安全控制的覆盖范围和成熟度，并不断考虑不断变化的威胁形势。公司将特别关注改进出口控制、缓解更复杂的内部威胁以及提高整体安全态势。
实际应用案例分析
为了更具体地理解ASL-3部署措施的实际应用，我们可以设想一个案例：某恶意行为者试图利用Claude Opus 4设计一种新型生物武器。在ASL-2标准下，模型可能会拒绝提供关于特定毒素的信息，但恶意行为者可能通过一系列巧妙的提示，逐步引导模型生成相关信息。
在ASL-3标准下，宪法分类器会实时监控模型的输入和输出。如果恶意行为者试图通过组合多个无害的查询来获取有关生物武器设计的信息，分类器会检测到这些查询之间的关联性，并阻止模型提供进一步的帮助。此外，监控系统还会检测到异常的查询模式，并触发安全警报，以便安全团队可以及时采取行动。
出口带宽控制也可以发挥作用。如果攻击者成功地获得了模型权重的部分访问权限，并试图将其泄露出去，出口带宽控制会限制数据传输的速度，从而使安全团队有更多的时间来检测和阻止攻击。
数据佐证
Anthropic在报告中分享了一些数据，以佐证ASL-3措施的有效性。例如，预生产测试表明，宪法分类器可以显著降低越狱成功的概率，同时仅对正常运营增加适度的计算开销。此外，漏洞赏金计划也帮助Anthropic快速识别和修复了一些潜在的安全漏洞。
结论与展望
Anthropic强调，如何为前沿AI模型应用部署和安全措施的问题远未解决。公司将继续进行反思、迭代和改进。在ASL-3标准下运营的实践经验将有助于发现新的和意想不到的问题和机会。
Anthropic将继续与AI行业的其他公司、Claude的用户以及政府和民间社会的合作伙伴合作，以改进保护这些模型的方法。公司希望其详细报告能对AI行业中试图实施类似保护措施的其他公司有所帮助，并帮助大家为更有能力的AI的承诺和挑战做好准备。
