智能时代的核心挑战：构建AI大模型安全堡垒
在当前由人工智能驱动的变革时代，如Claude这类大型AI模型正赋能数百万用户应对复杂挑战，激发创意潜能，并深化对世界的理解。Anthropic致力于最大化人类潜能，同时确保模型的能力被导向有益的结果。这意味着持续优化我们支持用户学习和解决问题的方式，同时有效阻止可能造成现实世界危害的滥用行为。这正是其“安全守护团队”（Safeguards team）的核心使命所在：识别潜在滥用，响应新兴威胁，并构建坚固的防御系统，以确保Claude既有益又安全。
安全守护团队汇聚了政策制定、执法、产品开发、数据科学、威胁情报和工程领域的专家。他们不仅深谙如何构建稳健系统，也理解恶意行为者如何试图规避和攻击这些系统。团队的工作贯穿多个层面：从制定政策、影响模型训练、测试有害输出，到实时执行政策，并识别新型滥用模式和攻击手法。这种贯穿模型整个生命周期的全面方法，确保Claude从训练伊始就内置有效的保护措施，并在现实世界中得以验证。
政策制定：明确AI使用的边界与规范
安全守护团队负责设计Anthropic的《使用政策》（Usage Policy），这是定义Claude如何被允许或禁止使用的基本框架。该政策为我们处理儿童安全、选举诚信和网络安全等关键领域提供了指导，同时也为Claude在医疗和金融等行业中的应用提供了细致入微的指导。指导我们政策制定和迭代过程的机制主要有两项：
统一危害框架（Unified Harm Framework）：这个不断演进的框架帮助团队从物理、心理、经济、社会和个人自主权这五个维度，全面理解Claude使用可能造成的潜在有害影响。它并非一套严格的评分系统，而是一个结构化的视角，在制定政策和执行程序时，会综合考虑滥用的可能性和规模。例如，在考虑AI生成内容对社会凝聚力的潜在影响时，该框架会引导团队思考内容传播的速度、受众范围以及可能引发的群体反应，从而制定更为前瞻性的政策。
政策漏洞测试（Policy Vulnerability Testing）：我们与外部领域专家合作，识别潜在的关注领域，并通过在挑战性提示下评估模型输出来，对这些担忧与我们的政策进行压力测试。我们的合作伙伴包括恐怖主义、激进化、儿童安全和心理健康领域的专家。这些压力测试的发现直接影响了我们的政策、训练和检测系统。例如，在2024年美国大选期间，我们与战略对话研究所（Institute for Strategic Dialogue）合作，以了解Claude何时可能提供过时信息。作为回应，我们随即添加了一个横幅，引导Claude.ai用户寻求选举信息时转向TurboVote等权威来源。这表明了我们在关键社会事件中，主动与专业机构合作，以确保AI信息传递的准确性和公正性。
Claude的训练：从源头注入安全与伦理
安全守护团队与微调团队紧密合作，通过一个协作过程来帮助防止Claude产生有害行为和响应。这包括关于Claude应该和不应该表现出哪些行为的广泛讨论，这有助于在训练过程中决定模型应内置哪些特质。这种深度的协作确保了安全考量从模型设计的最初阶段就被充分整合，而非仅仅作为事后补丁。
我们的评估和检测流程也识别潜在的有害输出。当问题被标记时，我们可以与微调团队合作寻找解决方案，例如在训练期间更新奖励模型或调整已部署模型的系统提示。这意味着安全团队不仅负责发现问题，还深度参与到解决方案的制定和实施中，形成一个持续改进的闭环。
我们还与领域专家和专业人士合作，以深化Claude对敏感领域的理解。例如，我们与在线危机支持领域的领导者ThroughLine合作，深入了解模型在涉及自残和心理健康的情况下应在何处以及如何响应。我们将这些见解反馈给训练团队，以帮助影响Claude响应的细微差别，而不是让Claude完全拒绝参与或在这些对话中误解用户的意图。这种精细化的处理方式，旨在避免AI在敏感情境下出现过于生硬的拒绝或不恰当的“安慰”，从而真正实现有同理心和帮助性的交流。
通过这种协作过程，Claude掌握了多项重要技能。它学会了拒绝协助有害的非法活动，并能识别生成恶意代码、创建欺诈内容或规划有害活动的企图。它学会了如何谨慎地讨论敏感话题，以及如何区分这些话题与旨在造成实际伤害的企图。这种辨别力是AI模型在复杂人类交互中保持安全和有用的关键。
测试与评估：部署前的多维度风险筛查
在发布新模型之前，我们对其性能和能力进行严格评估。我们的评估体系涵盖以下几个核心环节：
安全评估（Safety evaluations）：我们评估Claude在儿童剥削或自残等话题上是否遵守我们的《使用政策》。我们测试了各种场景，包括明确的使用违规、模糊上下文以及扩展的多轮对话。这些评估利用我们的模型对Claude的响应进行评分，并辅以人工审查以确保准确性。这种双重验证机制，结合了AI的效率和人类的判断力，从而最大程度地降低了风险。
风险评估（Risk assessments）：针对网络危害或化学、生物、放射、核武器和高当量炸药（CBRNE）等高风险领域，我们与政府实体和私营企业合作进行AI能力提升测试。我们定义了可能因能力提升而出现的威胁模型，并评估我们的安全防护措施对抗这些威胁模型的表现。这种前瞻性的威胁建模方法，使我们能够在潜在危险能力被滥用之前就建立起相应的防御机制。
偏见评估（Bias evaluations）：我们检查Claude是否能在不同上下文和用户之间，始终提供可靠、准确的响应。对于政治偏见，我们测试具有相反观点的提示并比较响应，对其事实性、全面性、等效性和一致性进行评分。我们还测试了关于就业和医疗保健等主题的响应，以识别包含性别、种族或宗教等身份属性是否会导致偏见输出。这种全面的偏见检测，对于确保AI的公平性和包容性至关重要。
这种严格的部署前测试有助于我们验证训练是否经得起压力，并指示我们是否可能需要构建额外的防护措施来监控和防范风险。在对我们的计算机使用工具进行预发布评估期间，我们确定它可能增强垃圾邮件的生成和分发。作为回应，在发布之前，我们开发了新的检测方法和执行机制，包括对显示滥用迹象的账户禁用该工具的选项，以及为我们的用户提供新的提示注入保护。这些案例说明了预先发现问题并进行主动防御的价值。
我们的评估结果会发布在随每个新模型系列发布的《系统卡片》（system cards）中，确保了透明度。
实时检测与执行：部署后的动态防御
一旦模型部署，我们采用自动化系统与人工审查相结合的方式来检测危害并执行《使用政策》。
我们的检测和执行系统由一系列经过提示或特殊微调的Claude模型，即“分类器”（classifiers）驱动。这些分类器旨在实时检测特定类型的政策违规。我们可以同时部署多个不同的分类器，每个分类器监控特定类型的危害，同时主对话流程自然进行。除了分类器，我们还对儿童性虐待材料（CSAM）实施了专门的检测，其中我们将上传图像的哈希值与我们第一方产品上已知CSAM的数据库进行比较。这些技术共同构成了强大的实时监控网络。
这些分类器帮助我们确定何时以及如何采取执行行动，包括：
响应引导（Response steering）：我们可以实时调整Claude如何解释和响应某些用户提示，以防止有害输出。例如，如果我们的分类器检测到用户可能试图生成垃圾邮件或恶意软件，我们可以自动向Claude的系统提示添加额外指令，以引导其响应。在少数情况下，我们也可以完全阻止Claude响应。
账户执行行动（Account enforcement actions）：我们调查违规模式，并可能在账户层面采取额外措施，包括警告或在严重情况下终止账户。我们还设有防御机制，以阻止欺诈性账户的创建和使用我们的服务。这些措施确保了对恶意行为者的有效震慑和制裁。
构建这些执行系统代表着巨大的挑战，无论是在设计它们所需的机器学习研究方面，还是在实现它们所需的工程解决方案方面。例如，我们的分类器必须能够处理数万亿的输入和输出标记，同时限制计算开销和对良性内容的错误执行。这要求我们在性能和准确性之间找到精妙的平衡。
持续监控与调查：洞察复杂威胁模式
我们还监控有害的Claude流量，超越单一提示和个体账户的分析，以理解特定危害的普遍性并识别更复杂的攻击模式。这项工作包括：
Claude洞察与观察（Claude insights and observations）：我们的洞察工具帮助我们以隐私保护的方式衡量Claude的实际使用情况并分析流量，通过将对话分组为高层主题集群。这项工作启发的研究（例如关于Claude使用情感影响的研究）可以为我们构建的防护措施提供信息。通过分析大规模用户行为，我们可以发现新的滥用趋势或模型弱点。
分层摘要（Hierarchical summarization）：为了监控计算机使用能力或潜在的有害网络使用，我们使用分层摘要技术。这项技术将个体交互浓缩成摘要，然后分析这些摘要以识别账户层面的问题。这有助于我们发现只有在聚合后才可能显示出违规行为的模式，例如自动化影响操作和其他大规模滥用。这是一种从“森林”而非“树木”层面理解威胁的方法。
威胁情报（Threat intelligence）：我们还研究模型最严重的滥用情况，识别现有检测系统可能遗漏的对抗性使用和模式。我们使用的方法包括将滥用指标（例如账户活动异常激增）与典型账户使用模式进行比较，以识别可疑活动，并将外部威胁数据（例如开源存储库或行业报告）与我们的内部系统进行交叉参照。我们还监控恶意行为者可能活动的渠道，包括社交媒体、消息平台和黑客论坛。我们将研究结果发布在我们的公开威胁情报报告中。这种主动出击的策略，使得我们能够预判和应对不断演变的威胁。
展望未来：共建AI安全生态
保护AI的使用对任何一个组织来说都过于重要，无法独自承担。我们积极寻求来自用户、研究人员、政策制定者和民间社会组织的反馈和合作。我们还基于公众的反馈进行建设，包括通过一个持续进行的漏洞赏金计划来测试我们的防御能力。这种开放和协作的精神是AI安全领域向前发展的关键。
为了支持我们的工作，我们正在积极招聘能够帮助我们解决这些问题的人才。如果您对加入我们的安全守护团队感兴趣，我们鼓励您查阅我们的招聘页面。通过汇聚各方智慧和力量，我们才能共同构建一个更加安全、负责任的AI未来。
