AI重塑网络安全:Claude Sonnet 4.5如何成为防御者的得力助手

1

在网络安全领域,AI模型已从理论走向实践,展现出强大的实用价值。随着研究和经验证明前沿AI作为网络攻击工具的有效性,我们投入资源提升Claude在帮助防御者检测、分析和修复代码及部署系统漏洞方面的能力。这项工作使Claude Sonnet 4.5在发现代码漏洞和其他网络安全技能方面,能够匹敌甚至超越仅两个月前发布的旗舰模型Opus 4.1。对于防御者而言,采用并试验AI将是保持竞争力的关键。

网络安全的AI转折点

我们相信,AI对网络安全的影响现在正处于一个重要的转折点。过去几年,我们的团队一直在密切关注AI模型的网络安全相关能力。最初,我们发现模型在高级和有意义的能力方面并不特别强大。然而,在过去一年左右的时间里,我们注意到了一个转变。例如:

  • 我们展示了模型可以在模拟中重现历史上代价最高的网络攻击之一——2017年Equifax数据泄露事件。
  • 我们让Claude参加网络安全竞赛,在某些情况下,它的表现超越了人类团队。
  • Claude帮助我们发现了自己代码中的漏洞并在发布前修复了它们。

在今年夏季的DARPA AI网络安全挑战赛中,各团队使用大型语言模型(包括Claude)构建了"网络推理系统",检查数百万行代码以发现和修补漏洞。除了植入的漏洞外,团队还发现(有时修补了)先前未被发现、非合成的漏洞。在竞赛环境之外,其他前沿实验室现在也应用模型来发现和报告新的漏洞。

与此同时,作为我们保障工作的一部分,我们发现并破坏了我们自己平台上利用AI扩大运营规模的行为者。我们的保障团队最近发现(并破坏了)"氛围黑客"案例,其中一名网络犯罪分子使用Claude构建了大规模数据勒索计划,该计划以前需要一整个团队才能完成。保障团队还检测并对抗了Claude在越来越复杂的间谍活动中的使用,包括针对关键电信基础设施的活动,该行为表现出与中国APT操作一致的特征。

所有这些证据线索都让我们认为,我们正处于网络安全生态系统的一个重要转折点,从现在开始的进展可能会非常迅速,或者使用可能会快速增长。

因此,现在是加速AI防御使用以保护代码和基础设施的重要时刻。**我们不应该将AI带来的网络优势拱手让给攻击者和犯罪分子。**虽然我们将继续投资于检测和破坏恶意攻击者,但我们认为可扩展性最强的解决方案是构建AI系统,使那些保护我们数字环境的人——如保护企业和政府的安全团队、网络安全研究人员以及关键开源软件的维护者——能够获得赋能。

在发布Claude Sonnet 4.5之前,我们开始着手实现这一目标。

Claude Sonnet 4.5:强调网络安全技能

随着大型语言模型规模的扩大,"涌现能力"——在较小模型中不明显且不一定是模型训练明确目标的技能——开始出现。确实,Claude在执行网络安全任务(如寻找和利用"夺旗"挑战中的软件漏洞)方面的能力,一直是开发通用AI助手的副产品。

但我们不想仅仅依赖通用模型的进步来更好地装备防御者。由于AI和网络安全发展这一时刻的紧迫性,我们专门投入研究人员使Claude在代码漏洞发现和修补等关键技能上更加出色。

这项工作的成果反映在Claude Sonnet 4.5中。它在许多网络安全方面与Claude Opus 4.1相当或更优,同时成本更低、速度更快。

评估证据

在构建Sonnet 4.5时,我们有一个小型研究团队专注于增强Claude在代码库中发现漏洞、修补它们以及在模拟部署的安全基础设施中测试弱点的能力。我们选择这些任务是因为它们反映了防御者的重要工作。我们刻意避免那些明显有利于进攻工作的增强——如高级利用或编写恶意软件。我们希望使模型能够在部署前发现不安全的代码,并在部署的代码中找到并修复漏洞。当然,我们没有关注许多其他关键安全任务;在本文末尾,我们将详细阐述未来的方向。

为了测试我们研究的效果,我们对模型进行了行业标准评估。这些评估 enables在模型之间进行清晰比较,衡量AI进步的速度,特别是在新颖的、外部开发的评估的情况下,提供了一个很好的指标,确保我们不仅仅是针对自己的测试进行教学。

在运行这些评估时,一个突出特点是多次运行它们的重要性。即使对于大量评估任务来说计算成本很高,它也能更好地捕捉到在特定实际问题上受动机驱动的攻击者或防御者的行为。这样做不仅揭示了Claude Sonnet 4.5的出色表现,还展示了几代以前模型的令人印象深刻的表现。

Cybench评估

我们追踪了一年多的评估之一是Cybench,这是一个源自"夺旗"竞赛挑战的基准测试。在这个评估上,我们看到了Claude Sonnet 4.5的显著改进,不仅超过了Claude Sonnet 4,甚至超过了Claude Opus 4和4.1模型。也许最引人注目的是,Sonnet 4.5在一次尝试中成功完成任务的概率,高于Opus 4.1在十次尝试中的成功率。作为此评估一部分的挑战反映了相当复杂、长时间的工作流程。例如,一个挑战涉及分析网络流量,从该流量中提取恶意软件,然后反编译和解密恶意软件。我们估计,这至少需要一名熟练的人类一小时,甚至可能更长;Claude花了38分钟解决了它。

当我们给Claude Sonnet 4.5 10次尝试进行Cybench评估时,它在76.5%的挑战中成功。这特别值得注意,因为在过去六个月里,我们将成功率提高了一倍(2025年2月发布的Sonnet 3.7在10次试验中只有35.9%的成功率)。

Claude Sonnet 4.5在Cybench上优于其他模型

模型在Cybench上的性能。Claude Sonnet 4.5在k=1、10或30次试验中显著优于所有先前模型,其中成功概率被测量为在k次试验中至少成功一次的问题比例的期望值。请注意,这些结果是在原始40个Cybench问题中的37个子集上进行的,其中3个问题因实施困难而被排除。

CyberGym评估

在另一个外部评估中,我们在CyberGym上评估了Claude Sonnet 4.5,这是一个评估代理能力的基准,能够(1)在给定弱点高级描述的情况下,在真实开源软件项目中找到(先前发现的)漏洞,以及(2)发现新的(先前未发现的)漏洞。CyberGym团队之前发现Claude Sonnet 4是他们的公共排行榜上最强的模型。

Claude Sonnet 4.5的得分显著高于Claude Sonnet 4或Claude Opus 4。使用与公共CyberGym排行榜相同的成本约束(即每个漏洞限制2美元的LLM API查询),我们发现Sonnet 4.5达到了28.9%的新最先进分数。但真正的攻击者很少受到这种方式的限制:他们可以尝试许多攻击,每次尝试的花费远超过2美元。当我们移除这些约束并给每个任务30次尝试时,我们发现Sonnet 4.5在66.7%的程序中重现了漏洞。虽然这种方法相对成本较高,但绝对成本——尝试一个任务30次约45美元——仍然相当低。

模型在CyberGym上的表现——Sonnet 4.5在一次和三十次尝试后都更有可能成功

模型在CyberGym上的性能。Sonnet 4.5优于所有先前模型,包括Opus 4.1。*请注意,Opus 4.1由于其价格较高,在1次试验场景中没有遵循与其他模型相同的2美元成本限制。

同样有趣的是Claude Sonnet 4.5发现新漏洞的速率。虽然CyberGym排行榜显示Claude Sonnet 4只在约2%的目标中发现漏洞,但Sonnet 4.5在5%的情况下发现了新漏洞。通过重复试验30次,它在33%以上的项目中发现了新漏洞。

模型在CyberGym上发现新漏洞的表现

模型在CyberGym上的性能。Sonnet 4.5在一次尝试中发现新漏洞的能力优于Sonnet 4,并且在给予30次尝试时大幅超越其表现。

进一步的修补研究

我们还在进行初步研究,探讨Claude生成和审查修复漏洞的补丁的能力。修补漏洞比发现漏洞更难,因为模型必须进行外科手术式的更改,移除漏洞而不改变原始功能。在没有指导或规范的情况下,模型必须从代码库中推断出这种预期的功能。

在我们的实验中,我们让Claude Sonnet 4.5基于漏洞描述和程序崩溃时正在做什么的信息,修补CyberGym评估集中的漏洞。我们使用Claude来评判自己的工作,要求它通过将提交的补丁与人类编写的参考补丁进行比较来对这些补丁进行评分。15%的Claude生成的补丁被判定为与人类生成的补丁语义等效。然而,这种基于比较的方法有一个重要限制:因为漏洞通常可以通过多种有效方式修复,与参考补丁不同的补丁仍然可能是正确的,导致我们的评估中出现假阴性。

我们手动分析了评分最高的补丁样本,发现它们与已合并到CyberGym评估所基于的开源软件中的参考补丁功能相同。这项工作揭示了与我们更广泛发现一致的模式:Claude在一般改进的同时发展网络安全相关技能。我们的初步结果表明,补丁生成——就像之前的漏洞发现一样——是一种可以通过专注研究增强的涌现能力。我们的下一步是系统解决我们已确定的挑战,使Claude成为可靠的补丁作者和审查者。

与可信伙伴合作

现实世界的防御性安全在实践中比我们的评估所能捕捉的更为复杂。我们一直发现,现实问题更加复杂,挑战更加困难,实施细节非常重要。因此,我们认为与实际使用AI进行防御的组织合作,以获取关于我们的研究如何加速他们的工作的反馈,这一点非常重要。在Sonnet 4.5发布之前,我们与许多组织合作,他们将模型应用于他们在漏洞修复、测试网络安全和威胁分析等领域的实际挑战。

Hackerone首席产品官Nidhi Aggarwal说:"Claude Sonnet 4.5将我们的Hai安全代理的平均漏洞接收时间减少了44%,同时提高了25%的准确性,帮助我们以信心降低企业的风险。"根据CrowdStrike数据科学高级副总裁兼首席科学家Sven Krasser的说法:"Claude在红队测试方面显示出强大的潜力——生成创造性的攻击场景,加速我们研究攻击者战术的方式。这些见解加强了我们在端点、身份、云、数据、SaaS和AI工作负载方面的防御。"

这些证言使我们更加确信Claude在应用防御工作中的潜力。

未来展望

Claude Sonnet 4.5代表了一项有意义的改进,但我们知道它的许多能力仍处于初级阶段,尚未达到安全专业人士和既定流程的水平。我们将继续努力改进我们模型的防御相关能力,并增强保护我们平台的威胁情报和缓解措施。事实上,我们已经开始使用调查和评估的结果来不断完善我们捕捉模型有害网络行为的能力。这包括使用组织级别的总结技术来理解超越单一提示和完成的大局;这有助于区分双重用途行为与恶意行为,特别是对于涉及大规模自动活动的最有害用例。

**但我们相信,现在是尽可能多的组织开始试验如何利用AI改善其安全态势并构建评估以衡量这些收益的时候了。**Claude Code中的自动化安全审查展示了AI如何集成到CI/CD管道中。我们特别希望使研究人员和团队能够试验将模型应用于安全运营中心(SOC)自动化、安全信息和事件管理(SIEM)分析、安全网络工程或主动防御等领域。我们希望看到并使用更多针对防御能力的评估,作为不断发展的模型评估第三方生态系统的一部分。

但即使构建和采用以防御者优势也仅是解决方案的一部分。我们还需要讨论如何通过前沿AI模型的帮助,使数字基础设施更具弹性,并使新软件在设计上更加安全。随着AI对网络安全的影响从未来的担忧转变为当务之急,我们期待与行业、政府和社会各界进行这些讨论。

结论

AI在网络安全领域的应用正迎来一个关键的转折点,Claude Sonnet 4.5的发布标志着这一进程中的重要里程碑。通过专注于防御性能力而非攻击性应用,我们正努力确保AI技术成为安全团队的强大盟友,而非威胁。随着模型在漏洞发现、修复和测试方面能力的不断提升,以及成本效益的持续优化,AI正在从理论走向实践,成为网络安全防御中不可或缺的工具。

未来,我们需要更多的组织参与到这一变革中来,通过实际应用和持续评估,共同探索AI在安全运营中心自动化、威胁分析、网络工程等领域的潜力。同时,构建更具弹性的数字基础设施和设计更安全的软件系统,将是确保AI技术真正造福网络安全的关键。在这个AI与网络安全深度融合的新时代,防御者与技术创新者的紧密合作,将共同塑造一个更安全的数字未来。