在人工智能飞速发展的今天，模型安全问题日益凸显。Anthropic作为一家领先的AI研究机构，始终将安全性置于核心地位。为了进一步强化其AI系统的安全性，Anthropic于2025年5月14日宣布启动一项全新的漏洞赏金计划，旨在通过社区的力量，对尚未公开部署的安全分类器进行压力测试，寻找潜在的通用越狱漏洞。该计划不仅是对Anthropic现有安全措施的一次全面检验，更是其积极履行《负责任的扩展策略》中AI安全等级3（ASL-3）部署标准承诺的重要体现。
漏洞赏金计划的背景与意义
Anthropic的《负责任的扩展策略》是指导其AI模型开发和部署的核心框架，旨在确保AI技术在不断进步的同时，能够安全可靠地服务于社会。ASL-3标准是该策略中的一个关键组成部分，代表着Anthropic对AI安全性的最高要求。为了达到这一标准，Anthropic不断探索和实施各种先进的安全措施，其中包括本次漏洞赏金计划所针对的安全分类器。
通用越狱漏洞是指能够绕过AI安全措施，使其产生不期望或有害输出的漏洞。这些漏洞可能被恶意利用，导致AI系统被用于非法或不道德的目的。因此，及时发现和修复这些漏洞对于维护AI安全至关重要。
Constitutional Classifiers：对抗CBRN威胁的安全卫士
本次漏洞赏金计划的核心是测试Anthropic的Constitutional Classifiers系统。该系统是一种专门设计用于防御与CBRN（化学、生物、放射性、核）武器相关信息泄露的先进技术。Constitutional Classifiers基于一系列明确的原则，定义了与Claude交互时允许和禁止的内容类型，从而有效地防止了AI系统被用于生成或传播与CBRN武器相关的有害信息。
Constitutional Classifiers的工作原理可以概括为以下几个步骤：
- 内容分析：系统首先对用户输入的内容进行分析，识别其中可能存在的与CBRN武器相关的信息。
- 原则评估：系统将分析结果与预定义的原则进行比较，判断内容是否符合安全标准。
- 内容过滤：如果内容被认为是不安全的，系统将对其进行过滤或修改，以确保其符合安全要求。
- 响应生成：系统根据过滤后的内容生成安全且有用的响应。
漏洞赏金计划的细节
Anthropic与HackerOne合作，共同推出了本次漏洞赏金计划。HackerOne是一个知名的漏洞赏金平台，拥有庞大的安全研究人员社区，能够为Anthropic提供广泛的测试和反馈。
参与者将有机会提前访问Claude 3.7 Sonnet，并在其上测试Constitutional Classifiers的最新版本。Anthropic为发现已验证的通用越狱漏洞的研究人员提供了高达25,000美元的赏金奖励。通用越狱漏洞是指能够持续绕过Claude在多个主题上的安全措施的漏洞。
Anthropic特别关注可能被利用于CBRN相关主题的通用越狱漏洞。这意味着，研究人员需要重点关注如何诱导Claude生成或传播与CBRN武器相关的有害信息。
Anthropic的AI安全理念
Anthropic坚信，AI模型的安全性与其能力同等重要。随着AI模型变得越来越强大，它们也可能被用于恶意目的。因此，Anthropic致力于开发和部署先进的安全措施，以确保其AI系统能够安全可靠地服务于社会。
Anthropic的AI安全理念包括以下几个方面：
- 负责任的扩展：Anthropic认为，AI能力的提升应与安全措施的完善同步进行。因此，Anthropic制定了《负责任的扩展策略》，以指导其AI模型的开发和部署。
- 多层次防御：Anthropic采用多层次防御策略，包括安全分类器、内容过滤、监控和响应等多个环节，以全面保护AI系统免受攻击。
- 社区合作：Anthropic积极与安全研究人员社区合作，共同发现和修复AI系统中的漏洞。漏洞赏金计划是Anthropic与社区合作的重要举措之一。
- 持续改进：Anthropic不断改进其安全措施，以应对不断变化的威胁。漏洞赏金计划为Anthropic提供了宝贵的反馈，有助于其不断完善安全系统。
如何参与漏洞赏金计划
Anthropic欢迎经验丰富的红队成员和在识别语言模型越狱方面有专长的研究人员参与本次漏洞赏金计划。感兴趣的参与者可以通过Anthropic提供的申请表提交申请。Anthropic将向选定的参与者提供详细的说明和反馈。
本次漏洞赏金计划于2025年5月14日开始，并于2025年5月18日结束。由于本次活动仅限受邀者参与，Anthropic能够及时响应提交的内容并提供反馈。
漏洞赏金计划的更新
2025年5月22日，Anthropic对本次漏洞赏金计划进行了更新。更新后的计划将侧重于在新的Claude Opus 4模型上对Constitutional Classifiers系统进行压力测试，并测试Anthropic可能开发的其他安全系统。
Anthropic仍然接受参与新邀请制计划的申请。您可以通过Anthropic提供的申请表申请邀请。
为了进一步提高AI安全性，Anthropic还接受在公共平台或论坛（如社交媒体）上发现的，针对ASL-3关注用途（即引出与生物威胁相关的信息）的通用越狱报告。有关更多信息，请参见此处。
Anthropic对AI安全的承诺
Anthropic对安全社区的合作表示感谢，并相信通过共同努力，可以使AI系统更加安全可靠。Anthropic将继续 инвестировать在AI安全领域，并与社区合作，共同应对AI安全挑战。
总而言之，Anthropic的漏洞赏金计划是其在AI安全领域持续努力的一个重要组成部分。通过与安全研究人员社区合作，Anthropic旨在发现和修复AI系统中的潜在漏洞，从而确保AI技术能够安全可靠地服务于社会。该计划不仅是对Anthropic现有安全措施的一次全面检验，更是其积极履行《负责任的扩展策略》中AI安全等级3（ASL-3）部署标准承诺的重要体现。
随着AI技术的不断发展，AI安全问题将变得越来越重要。Anthropic将继续致力于AI安全研究，并与社区合作，共同应对AI安全挑战，为构建安全可靠的AI生态系统贡献力量。
在未来的发展中，Anthropic可以考虑以下几个方面来进一步加强其AI安全措施：
- 扩大漏洞赏金计划的范围：可以将漏洞赏金计划扩展到更多的AI模型和安全系统，以更全面地测试AI系统的安全性。
- 加强与学术界的合作：可以与学术界建立更紧密的合作关系，共同研究AI安全问题，并开发新的安全技术。
- 提高AI安全意识：可以通过举办研讨会、发布研究报告等方式，提高公众对AI安全问题的认识，促进AI安全领域的健康发展。
- 建立AI安全标准：可以与行业内的其他机构合作，共同制定AI安全标准，为AI安全提供更明确的指导。
通过不断努力和创新，Anthropic有望在AI安全领域取得更大的突破，为构建安全可靠的AI生态系统做出更大的贡献。
