大型语言模型（LLM）已成为推动创新、解决复杂挑战、激发创造力并加深我们对世界理解的强大工具。我们致力于最大限度地发挥人类潜力，同时确保AI模型的能力被引导至有益的结果。这意味着持续优化我们支持用户学习和解决问题的方式，同时预防可能造成现实世界危害的滥用行为。构建一个坚固的AI安全防护体系，是实现这一目标的核心。这需要一个跨领域专家组成的团队，他们不仅精通系统构建，更深谙恶意行为者的攻击策略。
AI安全团队的工作涵盖多个层面：识别潜在滥用、应对威胁，并构建防御机制以确保AI模型的安全性和实用性。这种多层级的方法贯穿模型的整个生命周期，确保AI模型从训练之初就融入有效且适应真实世界的保护措施。这包括政策的制定、模型训练的影响、有害输出的测试、实时政策的执行，以及对新型滥用和攻击的识别。
AI模型安全防护的多层方法
有效的AI安全防护并非单一环节的工作，而是一个系统性的、覆盖模型全生命周期的综合策略。从最前端的政策设计到部署后的持续监控，每个阶段都环环相扣，共同构建起一道坚实的防线。这种方法论旨在确保AI模型在功能不断强大的同时，始终处于可控和负责任的范畴内，从而平衡创新与风险管理。
政策与规范的基石
安全团队负责设计AI模型的使用政策——这一框架明确了模型的使用边界。该政策指导我们如何处理儿童安全、选举诚信和网络安全等关键领域，同时也为模型在医疗、金融等行业的应用提供细致的指导。政策的制定和迭代过程主要通过两种机制进行驱动：
统一危害框架（Unified Harm Framework）：这个不断演进的框架帮助团队从物理、心理、经济、社会和个人自主权等五个维度理解AI模型使用可能造成的潜在危害。它并非一个形式化的评分系统，而是一个结构化的审视视角，在制定政策和执行程序时会综合考虑滥用的可能性和规模。这使得政策能够更全面地覆盖各种潜在风险，并根据风险的严重程度采取相应措施。
政策漏洞测试（Policy Vulnerability Testing）：我们与外部领域专家合作，识别关注领域，并通过在挑战性提示下评估模型输出来对这些政策进行压力测试。我们的合作伙伴包括恐怖主义、激进化、儿童安全和心理健康方面的专家。这些压力测试的发现直接影响我们的政策、训练和检测系统。例如，在某次大选期间，我们曾与战略对话研究所（Institute for Strategic Dialogue）合作，以了解AI模型何时可能提供过时信息。根据测试结果，我们添加了一个指引，提示用户在寻求选举信息时转向权威来源。这种主动的、外部驱动的测试机制极大地增强了政策的稳健性和适应性。
模型训练中的安全融入
安全团队与模型微调团队紧密合作，通过协同流程预防AI模型产生有害行为和响应。这包括深入讨论模型应展现和不应展现的行为，这些讨论有助于指导训练过程中应构建哪些特性。通过在训练早期阶段就融入安全考量，可以从根本上降低模型产生不当输出的风险。
我们的评估和检测流程也旨在识别潜在的有害输出。当发现问题时，我们与微调团队合作寻找解决方案，例如在训练期间更新奖励模型或调整已部署模型的系统提示。这种迭代的反馈机制确保了模型的持续改进和安全性能的提升。
我们还与领域专家合作，以完善AI模型对敏感领域的理解。例如，我们曾与在线危机支持领域的领导者ThroughLine合作，深入了解模型在自残和心理健康相关情境下应如何以及何时做出响应。我们将这些见解反馈给训练团队，以帮助影响模型响应的细微之处，而不是让模型完全拒绝参与或误解用户在这些对话中的意图。通过这个协作过程，AI模型学会了几项重要的技能：它学会了拒绝协助有害的非法活动；它能够识别生成恶意代码、创建欺诈内容或计划有害活动的尝试；它学会了如何谨慎地讨论敏感话题，以及如何区分这些与实际造成伤害的意图。
全面测试与风险评估
在发布新模型之前，我们对其性能和能力进行严格评估。我们的评估环节旨在全面覆盖各种潜在风险，确保模型在部署前达到既定的安全标准。这个过程是确保模型在真实世界中安全运行的关键一步。
安全评估：我们评估AI模型对使用政策的遵守情况，涵盖儿童剥削或自残等主题。我们测试各种场景，包括明确的使用违规、模糊的上下文和扩展的多轮对话。这些评估利用模型自身来评定其响应，并辅以人工审查以确保准确性。
风险评估：对于网络危害或化学、生物、放射性、核武器和高当量爆炸物（CBRNE）等高风险领域，我们与政府实体和私营行业合作进行AI能力提升测试。我们定义了可能由增强能力产生的威胁模型，并评估我们的安全防护措施对抗这些威胁模型的表现。这有助于我们预测和减轻潜在的灾难性风险。
偏差评估：我们检查AI模型在不同上下文和用户之间是否始终提供可靠、准确的响应。对于政治偏差，我们测试具有对立观点的提示并比较响应，对其事实性、全面性、等效性和一致性进行评分。我们还测试关于工作和医疗保健等主题的响应，以识别身份属性（如性别、种族或宗教）的包含是否会导致有偏差的输出。这确保了AI模型在各种情境下都能保持公平和中立。
这种严格的部署前测试有助于验证训练在压力下的表现，并指示我们是否可能需要构建额外的防护措施来监控和防范风险。例如，在对计算机使用工具进行预发布评估期间，我们发现它可能加剧垃圾邮件的生成和分发。作为回应，在发布之前，我们开发了新的检测方法和执行机制，包括为显示滥用迹象的账户禁用该工具的选项，以及为用户提供针对提示注入的新保护措施。我们将在每个新模型系列发布时，通过“系统卡片”报告这些评估结果，以保持透明度。
实时检测与执行机制
一旦模型部署，我们采用自动化系统与人工审查相结合的方式来检测危害并执行使用政策。这种双重机制确保了高效的风险识别和灵活的应对措施，能够在模型实际运行中迅速捕捉并处理违规行为。
我们的检测和执行系统由一系列经过提示或专门微调的AI模型（通常称为“分类器”）提供支持，这些分类器旨在实时检测特定类型的政策违规。我们可以同时部署多个不同的分类器，每个分类器监控特定类型的危害，同时主对话流程自然进行。除了分类器之外，我们还针对儿童性虐待材料（CSAM）采用专门的检测方法，将上传图片的哈希值与已知CSAM数据库进行比对。
这些分类器帮助我们决定何时以及如何采取执行行动，包括：
响应引导（Response Steering）：我们可以实时调整AI模型解释和响应某些用户提示的方式，以防止有害输出。例如，如果我们的分类器检测到用户可能正在尝试生成垃圾邮件或恶意软件，我们可以自动向AI模型的系统提示添加额外指令以引导其响应。在少数情况下，我们甚至可以完全阻止模型做出响应，以避免潜在的危害。
账户执行行动：我们调查违规模式，并可能在账户层面采取额外措施，包括警告，或在严重情况下终止账户。我们还设有防御机制，以阻止欺诈性账户的创建和对服务的滥用。这构成了更深层次的防线，针对持续性和有组织的滥用行为。
构建这些执行系统代表着巨大的挑战，无论是在设计它们所需的机器学习研究方面，还是在实现它们所需的工程解决方案方面。例如，我们的分类器必须能够处理数万亿的输入和输出标记，同时限制计算开销和对良性内容的误判执行。这要求我们在准确性、效率和可扩展性之间找到精妙的平衡点。
持续监控与威胁情报
除了针对单一提示和个体账户的检测，我们还对有害的AI模型流量进行持续监控，以理解特定危害的普遍性并识别更复杂的攻击模式。这项工作是我们安全体系中不可或缺的一部分，它帮助我们从宏观层面把握威胁态势。
洞察工具与观察：我们的洞察工具帮助我们以隐私保护的方式衡量AI模型的实际使用情况，通过将对话分组为高级主题集群来分析流量。基于这项研究的信息（例如关于AI模型使用对情绪影响的研究）可以为我们构建的防护措施提供信息。这种基于数据的洞察力能够帮助我们更好地理解用户行为和潜在的风险点。
分层摘要（Hierarchical Summarization）：为了监控计算机使用能力或潜在的有害网络使用，我们使用分层摘要技术。这项技术将个体交互浓缩成摘要，然后分析这些摘要以识别账户层面的问题。这有助于我们发现那些只有在聚合起来时才显得违规的行为，例如自动化影响力操作和其他大规模滥用。它使得我们能够从更高的视角识别出零散行为背后的系统性模式。
威胁情报：我们还研究AI模型最严重的滥用情况，识别现有检测系统可能遗漏的对抗性使用和模式。我们使用的方法包括将滥用指标（例如账户活动异常激增）与典型账户使用模式进行比较，以识别可疑活动，并将外部威胁数据（如开源存储库或行业报告）与我们的内部系统进行交叉参照。我们还监控恶意行为者可能活跃的渠道，包括社交媒体、消息平台和黑客论坛。我们将这些发现整理成公开的威胁情报报告，与更广泛的社区分享，以促进集体安全。
展望与合作
AI使用的安全保障对任何一个组织来说都过于重要，无法单独应对。我们积极寻求来自用户、研究人员、政策制定者和公民社会组织的反馈和伙伴关系。这种开放的合作精神是未来AI安全治理的关键。我们还通过持续的漏洞奖励计划，鼓励公众测试我们的防御措施，并基于公众反馈进行改进。未来，随着AI技术持续演进，AI安全防护也将不断面临新的挑战。一个健壮、适应性强且持续迭代的安全防护体系，结合跨行业、跨领域的广泛合作，将是确保AI技术能够安全、负责任地服务于全人类福祉的基石。我们将持续投入资源和人力，致力于解决这些复杂且不断演变的问题，以构建一个更加安全可靠的AI生态系统。
