网络安全领域正经历着一场由AI驱动的革命。曾经只存在于理论中的AI模型，如今已成为实际网络安全任务中的强大工具。随着研究和经验证明前沿AI作为网络攻击工具的有效性，我们投入资源提升Claude检测、分析和修复代码及部署系统中漏洞的能力。这项工作使得Claude Sonnet 4.5在发现代码漏洞和其他网络安全技能方面，能够匹配甚至超越仅两个月前发布的我们的前沿模型Opus 4.1。采用并尝试AI将是防御者保持步伐的关键。
网络安全AI的转折点
我们相信，AI对网络安全的影响现在正处于一个重要的转折点。
多年来，我们的团队一直密切关注AI模型与网络安全相关的能力。最初，我们发现模型在执行高级和有意义的能力方面并不特别强大。然而，在过去一年左右的时间里，我们注意到了一个转变。例如：
- 我们展示了模型可以在模拟中重现历史上代价最高的网络攻击之一——2017年Equifax数据泄露事件。
- 我们让Claude参加网络安全竞赛，在某些情况下，它的表现优于人类团队。
- Claude帮助我们发现了自己代码中的漏洞并在发布前修复了它们。
在今年夏天的DARPA AI网络挑战赛中，各团队使用LLM（包括Claude）构建了"网络推理系统"，检查数百万行代码以发现并修补漏洞。除了插入的漏洞外，团队还发现（有时修补了）先前未被发现、非合成的漏洞。在竞赛环境之外，其他前沿实验室现在也应用模型来发现和报告新的漏洞。
同时，作为我们保障工作的一部分，我们发现并破坏了我们自己平台上利用AI扩大其操作规模的行为者。我们的保障团队最近发现（并破坏了）"氛围黑客"的案例，其中网络犯罪分子使用Claude构建了一个大规模的数据勒索计划，该计划以前需要一整个团队的人员才能完成。保障团队还检测并对抗了Claude在日益复杂的间谍活动中的使用，包括针对关键电信基础设施的行动，该行为表现出与中国APT操作一致的特征。
所有这些证据线索都让我们认为，我们正处于网络安全生态系统的一个重要转折点，从现在开始的进展可能会变得相当快或使用量可能会快速增长。
因此，现在是加速AI防御应用以保护代码和基础设施的重要时刻。**我们不应将AI带来的网络优势让给攻击者和犯罪分子。**虽然我们将继续投资于检测和破坏恶意攻击者，但我们认为最可扩展的解决方案是构建AI系统，使那些保护我们数字环境的人——如保护企业和政府的安全团队、网络安全研究人员以及关键开源软件的维护者——能够获得这些能力。
Claude Sonnet 4.5：强调网络安全技能
随着LLM规模的扩大，"涌现能力"——在较小模型中不明显且不一定是模型训练明确目标的技能——开始出现。事实上，Claude执行网络安全任务（如寻找和利用软件漏洞）的能力，一直是开发通用有用AI助手过程中的副产品。
但我们不想仅仅依靠通用模型的进步来更好地装备防御者。由于AI和网络安全发展这一时刻的紧迫性，我们专门投入研究人员使Claude在发现和修补代码漏洞等关键技能方面变得更出色。
这项工作的成果反映在Claude Sonnet 4.5中。它在网络安全方面的许多方面可与Claude Opus 4.1相媲美甚至更优，同时成本更低、速度更快。
评测证据
在构建Sonnet 4.5的过程中，我们让一个小型研究团队专注于增强Claude在代码库中发现漏洞、修补漏洞以及在模拟部署的安全基础设施中测试弱点的能力。我们选择这些是因为它们反映了防御者的重要任务。我们刻意避免明显有利于进攻工作的增强——如高级利用或编写恶意软件。我们希望模型能够在部署前发现不安全的代码，并能够找到和修复已部署代码中的漏洞。当然，我们还有很多没有关注的 Critical 安全任务；在本文的最后，我们将详细阐述未来的方向。
为了测试我们研究的效果，我们对模型进行了行业标准评测。这些评测能够清晰比较不同模型，衡量AI进步的速度，特别是在新颖的、外部开发的评测的情况下，提供了一个很好的指标，确保我们不仅仅是针对自己的测试进行教学。
在进行这些评测时，一件突出的事情是多次运行它们的重要性。即使对于大量评测任务计算成本很高，它也能更好地捕捉到在任何特定实际问题上受到激励的攻击者或防御者的行为。这样做不仅揭示了Claude Sonnet 4.5的出色表现，还展示了几代以前模型的出色表现。
Cybench评测
我们追踪了一年多的评测之一是Cybench，这是一个源自CTF竞赛挑战的基准测试。在这个评测中，我们看到Claude Sonnet 4.5取得了显著的进步，不仅超过了Claude Sonnet 4，甚至超过了Claude Opus 4和4.1模型。也许最引人注目的是，Sonnet 4.5在一次尝试任务中取得成功的概率，高于Opus 4.1在十次尝试任务中取得成功的概率。作为此评测一部分的挑战反映了相当复杂、长时间的工作流程。例如，一个挑战涉及分析网络流量、从该流量中提取恶意软件，以及反编译和解密该恶意软件。我们估计，这至少需要熟练的人类一小时，甚至可能更长；Claude花了38分钟就解决了它。
当我们给Claude Sonnet 4.5 10次尝试Cybench评测的机会时，它在76.5%的挑战中成功。这一点特别值得注意，因为在过去六个月内，我们将成功率提高了一倍（2025年2月发布的Sonnet 3.7在10次尝试时只有35.9%的成功率）。
模型在Cybench上的表现。Claude Sonnet 4.5在k=1、10或30次尝试时显著优于所有以前的模型，其中成功概率被测量为在k次尝试中至少有一次成功的比例的期望值。请注意，这些结果是在原始40个Cybench问题中的37个子集上进行的，其中由于实施困难排除了3个问题。
CyberGym评测
在另一个外部评测中，我们在CyberGym上评估了Claude Sonnet 4.5，这是一个评估代理能力的基准测试，能够（1）给定弱点的高级描述，在真实开源软件项目中找到（先前已发现的）漏洞，以及（2）发现新的（先前未发现的）漏洞。CyberGym团队先前发现Claude Sonnet 4是他们在公共排行榜上最强的模型。
Claude Sonnet 4.5的得分明显优于Claude Sonnet 4或Claude Opus 4。当使用与公共CyberGym排行榜相同的成本约束时（即每个漏洞限制2美元的LLM API查询），我们发现Sonnet 4.5达到了28.9%的新最先进分数。但真正的攻击者很少受到这种方式的限制：他们可以进行多次尝试，每次尝试的费用远高于2美元。当我们移除这些限制并给Claude每个任务30次尝试时，我们发现Sonnet 4.5在66.7%的程序中重现了漏洞。而且，尽管这种方法相对成本较高，但绝对成本——尝试一个任务30次约45美元——仍然相当低。
模型在CyberGym上的表现。Sonnet 4.5优于所有以前的模型，包括Opus 4.1。*请注意，Opus 4.1由于其价格较高，在1次尝试场景中没有遵循与其他模型相同的2美元成本约束。
同样有趣的是Claude Sonnet 4.5发现新漏洞的速度。虽然CyberGym排行榜显示Claude Sonnet 4只在约2%的目标中发现漏洞，但Sonnet 4.5在5%的情况下发现了新漏洞。通过重复试验30次，它在超过33%的项目中发现了新漏洞。
模型在CyberGym上的表现。Sonnet 4.5在一次尝试时的新漏洞发现就优于Sonnet 4，并且在30次尝试时其表现远远超过。
补丁生成的进一步研究
我们还在进行初步研究，探讨Claude生成和审查修复漏洞的补丁的能力。修补漏洞比发现漏洞更难，因为模型必须进行外科手术式的更改，移除漏洞而不改变原始功能。在没有指导或规范的情况下，模型必须从代码库中推断出这种预期功能。
在我们的实验中，我们让Claude Sonnet 4.5基于漏洞描述和程序崩溃时正在做什么的信息，修补CyberGym评估集中的漏洞。我们使用Claude来判断自己的工作，要求它通过将提交的补丁与人类编写的参考补丁进行比较来评分。15%的Claude生成的补丁被判定为与人类生成的补丁语义等效。然而，这种基于比较的方法有一个重要限制：因为漏洞通常可以通过多种有效方式修复，与参考补丁不同的补丁仍然可能是正确的，导致我们的评估中出现假阴性。
我们手动分析了得分最高的补丁样本，发现它们与已合并到CyberGym评估所基于的开源软件中的参考补丁在功能上相同。这项工作揭示了一个与我们更广泛发现一致的模式：Claude随着其总体改进而发展网络安全相关技能。我们的初步结果表明，补丁生成——就像之前的漏洞发现一样——是一种可以通过专注研究增强的涌现能力。我们的下一步是系统性地解决我们已确定的挑战，使Claude成为一个可靠的补丁编写者和审查者。
与可信合作伙伴合作
现实世界的防御性安全在实践中比我们的评测所能捕捉的要复杂得多。我们一直发现，现实问题更复杂，挑战更艰巨，实施细节非常重要。因此，我们认为与实际使用AI进行防御的组织合作，以获取关于我们的研究如何加速他们的工作的反馈，这一点很重要。在Sonnet 4.5发布之前，我们与多家组织合作，他们将模型应用于他们在漏洞修复、测试网络安全和威胁分析等领域的实际挑战。
Hackerone首席产品官Nidhi Aggarwal说："Claude Sonnet 4.5将我们的Hai安全代理的平均漏洞接收时间减少了44%，同时提高了25%的准确性，帮助我们以信心降低企业的风险。"根据CrowdStrike数据科学高级副总裁兼首席科学家Sven Krasser的说法："Claude在红队方面显示出强大的前景——生成创造性的攻击场景，加速我们研究攻击者战术的方法。这些见解加强了我们在端点、身份、云、数据、SaaS和AI工作负载方面的防御。"
这些证言让我们对Claude的应用防御工作更有信心。
未来发展方向
Claude Sonnet 4.5代表了一项有意义的改进，但我们知道它的许多能力仍处于初级阶段，尚未匹配安全专业人士和既定流程的能力。我们将继续努力改进我们模型与防御相关的能力，并增强保护我们平台的威胁情报和缓解措施。事实上，我们已经开始使用我们调查和评估的结果来不断完善我们捕捉模型有害网络行为的能力。这包括使用组织级别的总结技术来理解超越单一提示和完成的更大图景；这有助于将双重用途行为与恶意行为区分开来，特别是对于涉及大规模自动活动的最有害用例。
**但我们相信，现在是尽可能多的组织开始尝试如何利用AI改善其安全态势并构建评估以衡量这些收益的时候了。**Claude Code中的自动化安全审查展示了AI如何集成到CI/CD管道中。我们特别希望让研究人员和团队能够尝试将模型应用于安全运营中心(SOC)自动化、安全信息和事件管理(SIEM)分析、安全网络工程或主动防御等领域。我们希望看到并使用更多针对防御能力的评测，作为不断增长的模型评测第三方生态系统的一部分。
但即使构建和采用以防御者优势为导向的解决方案也只是部分解决方案。我们还需要讨论如何通过帮助前沿AI模型，使数字基础设施更具弹性，并使新软件在设计上更安全。我们期待与行业、政府和社会各界进行这些讨论，因为我们正在应对AI对网络安全的影响从未来关切转变为当前关键的时刻。
结论
AI在网络安全领域的应用已经从理论走向实践，Claude Sonnet 4.5的推出标志着防御能力的重要突破。通过专注于网络安全技能的发展，Sonnet 4.5不仅在漏洞发现方面表现出色，还在补丁生成等更复杂的任务上展现出潜力。
随着网络威胁日益复杂化和自动化，AI已成为防御者的关键工具。组织机构现在就应该开始实验如何将AI整合到其安全工作流程中，从自动化安全审查到SOC自动化，再到威胁分析。通过构建专门的评测标准和与行业合作伙伴的紧密合作，我们可以确保AI技术真正服务于防御者，而不是被攻击者滥用。
未来，随着AI技术的不断进步，我们可以期待更智能、更高效的网络安全防御系统。然而，技术进步只是解决方案的一部分。我们还需要共同努力，构建更具弹性的数字基础设施，并从根本上改变软件设计理念，将安全作为核心要素而非事后考虑。只有这样，我们才能在这个AI驱动的网络威胁时代保持主动，确保数字世界的安全与稳定。
