智能AI助手安全防护体系的构建与实践
在当前数字化浪潮中，以Claude为代表的先进AI助手已成为赋能千百万用户应对复杂挑战、激发创新潜能、深化世界理解的关键工具。我们致力于最大限度地拓展人类潜能，同时确保AI模型的能力被引导至有益的产出方向。这意味着需要持续优化我们支持用户学习与解决问题的方式，并有效防范可能导致现实世界危害的滥用行为。
这正是我们安全防护团队（Safeguards team）的核心使命所在：识别潜在的滥用，响应各类威胁，并构建坚固的防御体系，以确保Claude既能提供卓越的帮助，又能保障使用安全。我们的防护团队汇聚了政策制定、执法实践、产品设计、数据科学、威胁情报以及工程技术等多领域的专家，他们深刻理解如何构建稳健的系统，并洞悉恶意行为者如何试图规避这些系统。我们采取多层次的操作策略，贯穿模型整个生命周期，从政策制定、模型训练影响、有害输出测试、实时政策执行到新型滥用与攻击模式识别，确保为Claude打造的防护措施在实际应用中切实有效。
政策制定与演进机制
安全防护团队负责设计并迭代我们的《使用政策》，该政策明确界定了Claude的合理使用范围与禁止行为。这份政策为处理儿童安全、选举诚信、网络安全等关键领域提供了指导框架，并针对医疗、金融等特定行业中Claude的应用提供了细致的规范。
政策的制定与迭代过程主要由两项机制驱动：
统一危害框架：这是一个不断演进的框架，旨在帮助团队从物理、心理、经济、社会和个人自主权五个维度，全面理解Claude使用可能产生的潜在有害影响。该框架并非一套正式的评分系统，而是一个结构化的视角，用于在制定政策和执行程序时评估滥用行为的可能性和潜在规模。
政策漏洞测试：我们与外部领域专家紧密合作，识别潜在的担忧领域，并通过具有挑战性的提示评估模型输出，对政策进行压力测试。我们的合作伙伴涵盖恐怖主义、激进化、儿童安全和心理健康等方面的专家。这些压力测试的发现直接影响着我们的政策、训练过程和检测系统。例如，在2024年美国大选期间，我们与战略对话研究所（Institute for Strategic Dialogue）合作，以了解Claude何时可能提供过时信息。基于此，我们在Claude.ai用户界面中添加了一个横幅，引导寻求选举信息的美国用户访问TurboVote等权威来源。
模型训练中的安全融入
安全防护团队与微调团队紧密协作，通过一种协作式流程，旨在从源头预防Claude产生有害行为和响应。这涉及对Claude应表现和不应表现的行为进行广泛讨论，从而为训练过程中模型特性的构建提供决策依据。
我们的评估和检测流程也负责识别潜在的有害输出。一旦发现问题，我们会与微调团队共同研究解决方案，例如在训练期间更新奖励模型或调整部署模型的系统提示。
我们还与专业领域的专家合作，以深化Claude对敏感领域的理解。例如，我们与在线危机支持领域的领导者ThroughLine合作，深入研究在涉及自残和心理健康的情况下，模型应在何处以及如何响应。我们将这些见解反馈给训练团队，以帮助提升Claude响应的细致程度，而非让Claude完全拒绝参与，或在这些对话中误解用户的意图。
通过这种协作过程，Claude习得了多项重要技能。它学会了拒绝协助有害的非法活动，并能识别生成恶意代码、创建欺诈内容或规划有害活动的行为。它学会了如何谨慎地讨论敏感话题，以及如何区分这些话题与旨在造成实际伤害的企图。
部署前严格测试与评估
在发布任何新模型之前，我们都会对其性能和能力进行全面评估。我们的评估体系包括：
安全评估：我们评估Claude在儿童剥削或自残等主题上遵守《使用政策》的情况。我们测试各种场景，包括明确的使用违规、模糊的上下文以及多轮对话。这些评估利用我们的模型对Claude的响应进行评分，并辅以人工审查以确保准确性。
风险评估：针对网络危害、化学、生物、放射性、核武器及高当量炸药（CBRNE）等高风险领域，我们与政府机构和私营企业合作进行AI能力提升测试。我们定义了可能因能力增强而出现的威胁模型，并评估我们的防护措施对抗这些威胁模型的表现。
偏见评估：我们检查Claude是否在不同上下文和用户之间持续提供可靠、准确的响应。对于政治偏见，我们测试具有相反观点的提示并比较响应，对其事实性、全面性、等效性和一致性进行评分。我们还测试关于就业和医疗保健等主题的响应，以识别包含性别、种族或宗教等身份属性是否会导致偏见输出。
这种严谨的部署前测试有助于我们验证训练效果是否经受住压力，并预示是否需要构建额外的防护措施来监控和防范风险。在对我们的计算机使用工具进行预发布评估时，我们发现它可能助长垃圾邮件的生成和分发。作为回应，我们在发布前开发了新的检测方法和执行机制，包括对显示滥用迹象的账户禁用该工具的选项，以及针对提示注入为用户提供新保护措施。
我们每一次新模型家族发布时，都会在相应的系统卡中报告评估结果。
实时检测与强制执行
一旦模型部署，我们通过自动化系统与人工审查相结合的方式，检测危害并执行《使用政策》。
我们的检测和执行系统由一系列经过提示或专门微调的Claude模型（我们称之为“分类器”）驱动，这些分类器旨在实时检测特定类型的政策违规。我们可以同时部署多个不同的分类器，每个分类器监控特定类型的危害，同时主对话流程自然进行。除了分类器，我们还对儿童性虐待材料（CSAM）进行专门检测，我们将上传图像的哈希值与我们第一方产品上已知CSAM数据库进行比对。
这些分类器帮助我们决定是否以及何时采取强制措施，包括：
- 响应引导：我们可以实时调整Claude解释和响应特定用户提示的方式，以防止有害输出。例如，如果我们的分类器检测到用户可能试图生成垃圾邮件或恶意软件，我们可以自动向Claude的系统提示添加额外指令来引导其响应。在少数情况下，我们甚至可以完全阻止Claude响应。
- 账户强制措施：我们调查违规模式，并可能在账户层面采取额外措施，包括警告或在严重情况下终止账户。我们还设有防御机制，以阻止欺诈性账户的创建和我们服务的使用。
构建这些强制执行系统是一项巨大的挑战，无论是在设计它们所需的机器学习研究方面，还是在实现它们所需的工程解决方案方面。例如，我们的分类器必须能够处理万亿计的输入和输出令牌，同时限制计算开销和对良性内容的误判。
持续监控与威胁情报
我们还监控有害的Claude流量，超越单一提示和个体账户，以理解特定危害的普遍性并识别更复杂的攻击模式。这项工作包括：
- Claude洞察与观察：我们的洞察工具通过将对话分组为高层主题集群，以隐私保护的方式衡量Claude的实际使用情况并分析流量。基于这项工作的研究（例如关于Claude使用情感影响的研究）可以为我们构建防护措施提供信息。
- 分层摘要：为了监控计算机使用能力或潜在的有害网络使用，我们采用分层摘要技术，将单个交互提炼成摘要，然后分析这些摘要以识别账户层面的担忧。这有助于我们发现仅在聚合时才显现出违规迹象的行为，例如自动化影响力操作和其他大规模滥用。
- 威胁情报：我们还研究模型最严重的滥用情况，识别现有检测系统可能遗漏的对抗性使用和模式。我们采用的方法包括将滥用指标（例如账户活动异常激增）与典型账户使用模式进行比较，以识别可疑活动，并将外部威胁数据（如开源存储库或行业报告）与内部系统进行交叉引用。我们还监控恶意行为者可能活跃的渠道，包括社交媒体、消息平台和黑客论坛。我们将研究结果发布在我们的公开威胁情报报告中，为行业贡献。
合作共筑安全AI生态
保障AI的使用安全是一个至关重要的议题，任何单一组织都无法独自应对。我们积极寻求用户、研究人员、政策制定者和公民社会组织的反馈与合作。我们也从公众的反馈中汲取经验，包括通过持续的漏洞奖励计划来测试我们的防御能力。通过多方协作，我们旨在共同构建一个更安全、更负责任的AI生态系统，确保智能科技在服务人类进步的同时，最大程度地规避潜在风险。
