智能体新纪元：构建安全可信赖AI的深思与实践
当前，人工智能正从被动响应特定指令的助理工具，迅速演变为能够自主规划并执行复杂任务的智能代理（AI Agents）。这些智能体一旦被赋予目标，便能像虚拟协作伙伴一样，独立承担起项目从构思到完成的全过程，极大提升了效率并释放了人类的精力，使我们能够专注于更具创造性的工作。它们自主调控流程，灵活运用工具，以最小的人工干预实现任务目标。例如，一个婚礼策划智能体能够自主研究场地和供应商、比较报价与可用性、并创建详细的时间表和预算。又如，一个商务智能体可以深入Google Drive搜索销售报告和财务文件，从多个电子表格中提取关键指标，并自动生成一份完整的董事会演示报告。
Anthropic在AI智能体领域已积累了初步经验，我们推出的Claude Code智能体，能够自主编写、调试和编辑代码，已被软件工程师广泛应用。此外，众多企业也正基于我们的模型构建各自的智能体解决方案。例如，网络安全公司Trellix利用Claude进行安全问题的分类和调查；金融服务公司Block则开发了一款智能体，赋能非技术员工通过自然语言访问其数据系统，显著节省了工程师的时间。随着智能体技术的普及，建立一套负责任的开发框架变得至关重要。
奠定可信智能体的五大核心原则
智能体技术的快速部署，迫切要求我们这些开发者构建出安全、可靠且值得信赖的智能体。为此，我们分享了早期负责任智能体开发框架，期望它能为行业确立新兴标准，为不同应用场景提供灵活的指导，并共同构建一个智能体与人类价值观深度契合的AI生态系统。我们在开发智能体时，始终秉持以下五项核心原则：
1. 平衡人类掌控与智能体自主性
智能体设计中的核心张力在于如何平衡其自主性与人类的监督。智能体的独立运行是其价值所在，但人类必须对目标实现过程保持掌控，尤其是在涉及高风险决策之前。例如，一个费用管理智能体可能识别出公司在软件订阅上存在过度支出。然而，在它自动取消订阅或降级服务之前，公司通常会希望获得人类的批准。在Claude Code中，用户可以随时停止并调整其工作流程。默认情况下，它拥有只读权限，无需人工批准即可分析和审查目录信息，但在修改代码或系统时必须征求人类同意。对于信任Claude能够处理的常规任务，用户可以授予持久权限。随着智能体功能日益强大和普及，我们将需要更强大的技术解决方案和直观的用户控制。自主性与监督之间的最佳平衡因场景而异，可能需要结合内置和可定制的监督功能。
2. 提升智能体行为的透明度
人类需要深入了解智能体的决策过程。缺乏透明度会导致用户在智能体采取出乎意料的行动时感到困惑。例如，当一个智能体被要求“减少客户流失”时，如果它突然开始联系设施团队讨论办公室布局，用户可能会感到不解。然而，如果设计得当，智能体可以解释其逻辑：“我发现分配给开放办公区域销售代表的客户流失率高出40%，因此我正在请求进行工作空间噪音评估，并提议重新安置工位以改善通话质量。”这种透明度不仅能解释行为，也为人机协作提供了宝贵机会，用户可以对数据进行事实核查，或确保智能体采用最相关的资源。Claude Code通过实时待办事项清单展示其计划行动，用户可以随时介入询问或调整其工作计划。挑战在于找到适当的细节水平：信息过少会让人类无法评估智能体是否按计划进行；信息过多则可能让人不堪重负。我们需要持续迭代，以实现这种平衡。
3. 实现智能体与人类价值观的深度对齐
智能体并非总能如人类所愿地行事。我们的研究表明，当AI系统自主追求目标时，有时会采取在系统看来合理但并非人类实际期望的行动。例如，如果人类要求智能体“整理我的文件”，智能体可能自动删除它认为是重复的文件，并将文件移动到新的文件夹结构中，这远远超出了简单的组织，完全重构了用户的系统。这源于智能体试图提供帮助，但也暴露了即使目标一致，智能体也可能缺乏适当行动的背景理解。更令人担忧的是，智能体可能以积极损害用户利益的方式追求目标。我们在极端场景下的测试显示，AI系统在自主追求目标时，有时会采取系统认为合理但实际违反人类意愿的行动。用户也可能无意中通过提示导致意外结果。构建可靠的智能体价值对齐度量标准极具挑战性，要同时评估问题的恶意和良性原因都很困难。但我们正积极探索解决方案。在此之前，透明度和控制原则将尤为重要，作为减轻潜在偏差和不当行为的关键保障。
4. 跨越长期交互的隐私保护
智能体能够跨任务和交互保留信息，这带来了多重潜在的隐私问题。智能体可能不恰当地将敏感信息从一个情境带入另一个情境。例如，一个智能体在协助组织规划时，可能从一个部门学习到机密的内部决策，随后在协助另一个部门时无意中引用这些信息，从而泄露本应保密的事项。智能体使用的工具和流程也应设计有适当的隐私保护和控制。我们创建的开源“模型上下文协议”（MCP），允许Claude连接到其他服务，其中包含控制功能，使用户能够允许或阻止Claude在给定任务中访问特定的工具和流程，我们称之为“连接器”。在实施MCP时，我们增加了额外的控制，例如授予一次性或永久性信息访问的选项。企业管理员还可以设置其组织内的用户可以连接哪些连接器。我们正在不断探索改进隐私保护工具的方法。此外，我们还概述了客户应采取的措施，如访问权限、身份验证和数据隔离等，以通过这些安全保障措施来保护其数据。
5. 加强智能体交互的安全性
智能体系统在与其他系统或智能体交互时，应能有效保护敏感数据并防止滥用。由于智能体的任务是实现特定目标，攻击者可能通过诱导使其看起来对智能体目标至关重要，从而欺骗智能体忽略其原始指令、泄露未经授权的信息或执行意外操作（即“提示注入”）。攻击者还可能利用智能体所使用工具或子智能体中的漏洞。Claude已采用一套分类器系统来检测和防范提示注入等滥用行为，并配备了多层安全措施。我们的威胁情报团队进行持续监控，评估并缓解新型或不断演变的恶意行为。此外，我们还为使用Claude的组织提供指导，帮助它们进一步降低这些风险。所有加入Anthropic审查的MCP目录的工具，都必须遵守我们的安全、隐私和兼容性标准。当我们通过监控和研究发现新的恶意行为或漏洞时，我们会迅速解决，并不断改进安全措施，以领先于不断演变的威胁。
未来展望与持续演进
随着我们不断开发和改进智能体，我们对智能体风险和权衡的理解也将持续深化。未来，我们计划定期修订和更新本框架，以反映我们对最佳实践的最新认识。这些原则将指引我们当前及未来的智能体开发工作，我们期待与行业内的其他公司和组织就此议题展开合作。智能体在工作、教育、医疗保健和科学发现等领域拥有巨大的积极影响潜力，正因如此，确保它们以最高标准构建显得尤为重要。
