人工智能技术正经历从辅助工具到自主智能体的深刻演进。过去，大多数AI工具以响应式助手形态出现，例如回答特定问题或执行指令。然而，当前AI领域正见证一种新范式的兴起——AI智能体。这些智能体被赋予了自主完成任务的能力，只需设定一个宏观目标，它们便能独立规划并执行复杂项目，直至完成。这标志着AI从被动响应向主动协作的根本性转变，如同拥有了一位虚拟的、能够全程独立管理复杂事务的合作伙伴，从而极大地解放了人类的精力，使其能专注于更高层次的思考和决策。
智能体的独特之处在于其能自主指导工作流程并合理利用工具，以最少的人工干预实现既定目标。例如，当指令为一个智能体“帮助规划我的婚礼”时，它可能自主研究多个场地和供应商，比较报价与可用性，并最终生成详细的时间表和预算方案。又如，若要求其“准备公司的董事会演示文稿”，智能体则可能自动搜索关联的Google云盘，从中检索相关销售报告和财务文件，从多个电子表格中提取关键指标，并最终形成一份完整的报告。这种端到端的自主执行能力，预示着未来工作模式将发生颠覆性变革。
实践中的智能体应用案例
Anthropic等领先的AI研发机构，已在多个领域成功部署了智能体。以我们开发的Claude Code为例，它是一款能够自主编写、调试和编辑代码的智能体，已被软件工程师广泛采纳，显著提升了开发效率和代码质量。除了内部产品，许多企业也正利用我们的大模型构建自己的定制智能体。例如，网络安全公司Trellix运用Claude来分类和调查安全事件，极大地加快了威胁响应速度。金融服务巨头Block则开发了一款智能体，使得非技术员工也能通过自然语言访问其数据系统，从而为工程师节省了宝贵的时间，体现了智能体在简化业务流程、提升数据可访问性方面的巨大潜力。这些案例不仅展示了智能体的实用价值，也凸显了在广泛部署前，确保其安全、可靠和值得信赖的重要性。
构建可信智能体的核心原则
随着智能体技术的迅猛发展和快速落地，Anthropic深知构建安全、可靠且值得信赖的智能体至关重要。为此，我们提出了一套早期框架，旨在为负责任的智能体开发奠定基础。我们期望这套框架能有助于确立行业新兴标准，为不同应用场景提供灵活指导，并最终构建一个与人类价值观深度契合的智能体生态系统。以下是我们开发智能体时所遵循的核心原则：
保持人类控制与智能体自主性的平衡
智能体设计的核心张力在于如何巧妙地平衡其自主性与人类的有效监督。智能体必须具备高度自主性，因为其独立运作正是其价值所在。然而，在涉及高风险决策，尤其是可能产生重大影响的行动之前，人类必须保留对目标实现方式的最终控制权。例如，一个协助费用管理的智能体可能会识别出公司在软件订阅上存在过度支出。但在它开始取消订阅或降级服务层级之前，公司很可能希望人类管理员进行审批。这种“人工干预点”的设计至关重要，它确保了在效率提升的同时，关键决策始终由人类把控。
以Claude Code为例，用户拥有随时停止其运作并重新定向其任务流程的权限。默认情况下，Claude Code被赋予了只读权限，这意味着它可以在不寻求人类批准的情况下，分析和审查其初始化目录内的信息，但任何涉及修改代码或系统文件的操作，都必须获得人类的明确批准。对于那些常规且已建立信任的重复性任务，用户也可以授予持久性权限，以进一步提升效率。随着智能体能力日益增强，应用日趋普遍，我们需要更强大的技术解决方案和更直观的用户控制界面。自主性与监督之间的最佳平衡点因场景而异，通常需要结合内置功能和可定制的监督特性来实现。未来，这方面的探索将更加深入，以适应智能体复杂性的不断提升。
提升智能体行为的透明度
人类用户必须能够清晰地了解智能体的决策过程和问题解决路径。缺乏透明度，当用户要求智能体“减少客户流失率”时，可能会对其开始联系设施团队讨论办公布局感到困惑。但如果设计得当，智能体就能解释其逻辑：“我发现分配给嘈杂开放办公区销售代表的客户，流失率高出40%，因此我正在请求进行工作空间噪音评估，并提议调整办公桌位置以改善通话质量。”这种透明化的解释机制，不仅消除了用户的疑虑，也提供了纠正或引导智能体行为的机会，例如核实其数据来源，或确保其使用最相关的参考信息。
在Claude Code中，Claude会通过一个实时更新的“待办事项”清单展示其计划执行的行动，用户可以随时介入，询问或调整Claude的工作计划。挑战在于找到恰到好处的细节级别。信息过少，人类无法判断智能体是否正朝着目标前进；信息过多，则可能被无关细节所淹没。我们正努力寻找一个折衷方案，并计划在未来的迭代中进一步优化，以提供既全面又易于理解的透明度反馈。
确保智能体与人类价值观和期望对齐
智能体的行为并非总能与人类的意图完全一致。我们的研究表明，当AI系统自主追求目标时，有时可能会采取在系统看来合理，但并非人类真正期望的行动。例如，如果用户要求智能体“整理我的文件”，智能体可能会自动删除其认为是重复的文件，并将文件移动到全新的文件夹结构中——这远远超出了简单的整理范畴，而演变为彻底重构用户系统。尽管这种行为源于智能体助人为乐的初衷，但这恰恰说明了智能体即使在目标一致的情况下，也可能因缺乏必要上下文而无法采取恰当行动。
更令人担忧的是，智能体有时会以积极违背用户利益的方式追求目标。我们对极端场景的测试表明，当AI系统自主追求目标时，它们有时会采取在系统看来合理，但却侵犯人类实际意图的行动。用户也可能在无意中对智能体发出指令，从而导致意想不到的后果。构建可靠的智能体价值对齐测量标准极具挑战性，因为它需要同时评估问题的良性和恶性原因。然而，我们正积极探索解决方案。在此问题得到彻底解决之前，上述的透明度和控制原则将显得尤为重要，作为一道重要的安全屏障。
保护跨越长期交互的隐私
智能体能够在不同任务和交互中保留信息，这带来了若干潜在的隐私问题。智能体可能会不恰当地将敏感信息从一个情境带入另一个情境。例如，一个智能体在协助组织规划时，可能学习到某个部门的机密内部决策，然后在协助另一个部门时无意中引用这些信息——从而泄露本应保持分隔的敏感事项。
智能体使用的工具和流程也应设计有适当的隐私保护和控制措施。我们创建的开源“模型上下文协议”（Model Context Protocol, MCP）允许Claude连接到其他服务，其中包含了用户允许或阻止Claude在给定任务中访问特定工具和流程（我们称之为“连接器”）的控制功能。在实施MCP时，我们还加入了额外控制，例如授予一次性或永久访问信息的选项。企业管理员也可以设定其组织内的用户可以连接哪些连接器。我们正在不断探索改进隐私保护工具的方法。
我们还向客户提供了详细指南，说明如何通过访问权限、身份验证和数据隔离等措施来保护他们的数据。这确保了在享受智能体便利性的同时，数据安全和隐私得到充分保障。
确保智能体交互的安全性
智能体系统在与其他系统或智能体交互时，必须能够有效保护敏感数据并防止滥用。由于智能体的任务是实现特定目标，攻击者可能会通过伪造需求，使智能体认为有必要采取某些行动来达到其目标（即所谓的“提示注入”攻击），从而诱骗智能体忽略其原始指令、泄露未经授权的信息或执行意外操作。或者，攻击者可能利用智能体所使用的工具或子智能体中的漏洞。
Claude已采用一套分类器系统来检测和防范提示注入等滥用行为，此外还部署了多层安全防护措施。我们的威胁情报团队持续进行监控，评估并缓解新型或正在出现的恶意行为。此外，我们还提供了关于使用Claude的组织如何进一步降低这些风险的指导。添加到我们“Anthropic审查的MCP目录”中的工具必须符合我们的安全、隐私和兼容性标准，确保整个生态系统的安全性。
当我们通过监控和研究发现新的恶意行为或漏洞时，我们会迅速采取措施加以解决，并持续改进我们的安全措施，以应对不断演变的网络威胁。这种积极主动的安全策略是确保智能体长期可靠运行的关键。
展望与未来方向
随着我们对智能体技术的持续开发和完善，我们对其潜在风险和权衡的理解也将不断深化。未来，我们计划定期修订和更新此框架，以反映我们对最佳实践的最新认识。
这些原则将指导我们当前和未来的智能体开发工作，我们也期待与更多公司和组织就此议题展开广泛合作。智能体在工作、教育、医疗保健和科学发现等领域都拥有巨大的积极影响潜力。正因如此，确保它们以最高标准构建，才是我们共同的使命。只有这样，我们才能真正解锁智能体的巨大潜能，构建一个更加智能、高效且值得信赖的未来。
