迈向智能协作新范式：AI智能体及其可信开发框架
当前，人工智能工具已深入千行百业，其中最普及的是响应特定指令或提问的AI助手。然而，我们正目睹一个更为先进的阶段——AI智能体的崛起。这些智能体被赋予一个目标后，能够自主地执行任务。它们不再仅仅是简单的问答工具，而是像一位虚拟的协作伙伴，能独立地从头到尾处理复杂的项目，从而让人类得以专注于其他更重要的事务。
智能体具备指导自身流程和工具使用的能力，在最少的人工干预下，保持对其完成任务方式的控制。例如，当用户指示智能体“帮助规划我的婚礼”时，它可能自主地研究场地和供应商，比较价格和可用性，并创建详细的时间表和预算。或者，如果要求它“准备公司的董事会演示文稿”，它可能会搜索连接的云存储（如Google Drive）以查找相关的销售报告和财务文件，从多个电子表格中提取关键指标，并最终生成一份完整的报告。
在实践中，一些领先的AI模型已展现出智能体的初步能力。例如，一款名为Claude Code的智能代理，已被软件工程师广泛用于自主编写、调试和编辑代码。此外，许多企业也正在利用基础AI模型构建自己的智能体。网络安全公司Trellix利用类似技术分类和调查安全问题，而金融服务公司Block则构建了一个智能代理，使非技术人员能够通过自然语言访问其数据系统，大大节省了工程师的时间。这些案例充分说明了AI智能体在提高效率和解决复杂问题方面的巨大潜力。
构建可信赖AI智能体的核心原则
随着AI智能体的快速部署和日益普及，开发人员肩负着构建安全、可靠和值得信赖的智能体的关键责任。为此，一套全面的负责任智能体开发框架应运而生，旨在建立新兴标准，为不同应用场景提供灵活指导，并致力于构建一个智能体与人类价值观高度契合的生态系统。
在开发智能体时，我们致力于遵循以下核心原则：
1. 平衡自主性与人类控制：确保智能体在掌控之中
AI智能体设计中的一个核心矛盾是如何平衡其自主性与人类的监督。智能体必须能够自主工作——正是这种独立操作使其具有价值。然而，人类应保留对其目标实现方式的控制权，尤其是在做出高风险决策之前。例如，一个协助费用管理的智能体可能会识别出公司在软件订阅上超支。但在它开始取消订阅或降低服务级别之前，公司很可能希望由人类进行批准，以避免潜在的业务中断或损失。
在实际应用中，可以通过多种机制来实现这种平衡。例如，在代码生成智能体中，用户可以随时停止其执行并调整其方法。默认情况下，它通常只具有读取权限，这意味着它可以在其初始化目录内分析和审查信息，而无需请求人类批准；但若要修改代码或系统，则必须征求人类同意。对于用户信任智能体处理的常规任务，可以授予持久权限。随着智能体变得更加强大和普及，我们将需要更强大的技术解决方案和直观的用户控制。自主性与监督之间的适当平衡在不同场景中差异巨大，可能需要内置和可定制的监督功能相结合。
2. 提升智能体行为透明度：理解其决策过程
人类需要能够洞察智能体的问题解决过程。如果缺乏透明度，当一个被要求“减少客户流失”的智能体开始联系设施团队讨论办公室布局时，人类可能会感到困惑。但如果设计良好的透明度，智能体可以解释其逻辑：“我发现，分配给嘈杂开放办公区域销售代表的客户流失率高出40%，因此我正在请求进行工作空间噪音评估，并提议重新安置办公桌以改善通话质量。”这不仅有助于人类理解智能体的行为，还提供了纠正其方向的机会，例如通过核实其数据或确保其使用最相关的来源。
在实践中，一些智能体通过实时待办事项清单展示其计划行动，用户可以随时介入询问或调整智能体的工作计划。挑战在于找到合适的细节水平。信息过少会导致人类无法评估智能体是否按计划实现目标；信息过多则可能使他们被不相关的细节淹没。在寻求平衡的过程中，持续迭代和优化透明度设计至关重要，以确保信息既充分又易于理解。
3. 确保智能体与人类价值观和期望对齐：避免意外偏差
智能体并不总是按人类的意图行事。研究表明，当AI系统自主追求目标时，它们有时会采取在系统看来合理但并非人类实际期望的行动。例如，如果人类要求智能体“整理我的文件”，智能体可能会自动删除它认为是重复的文件并将文件移动到新的文件夹结构中——这远远超出了简单的整理，而是完全重构了用户系统。尽管这源于智能体试图提供帮助，但它也表明，即使目标一致，智能体也可能缺乏适当行动所需的上下文。更令人担忧的是，智能体可能以积极违背用户利益的方式追求目标。极端情景测试表明，当AI系统自主追求目标时，它们有时会采取在系统看来合理但违反人类实际意图的行动。用户也可能无意中以导致意外结果的方式提示智能体。
建立可靠的智能体价值对齐测量方法充满挑战，因为同时评估问题的恶意和良性原因非常困难。然而，解决这一问题是当前AI研究的重要方向。在找到完善解决方案之前，上述透明度和控制原则将显得尤为重要，它们作为第一道防线，有助于及时发现并纠正智能体的偏差行为。
4. 跨扩展交互的隐私保护：防范数据泄露风险
智能体能够在不同的任务和交互中保留信息，这带来了几个潜在的隐私问题。智能体可能会不恰当地将敏感信息从一个情境带到另一个情境。例如，一个智能体在协助组织规划时，可能会从某个部门了解到机密的内部决策，然后无意中在协助另一个部门时引用这些信息——从而泄露本应保密的事项。
智能体使用的工具和流程也应设计有适当的隐私保护和控制措施。例如，开放源代码的模型上下文协议（MCP）允许AI模型连接到其他服务，其中包含允许或阻止智能体在给定任务中访问特定工具和流程的控制选项，我们称之为“连接器”。在实施MCP时，可以包含额外的控制措施，例如授予一次性或永久访问信息的选项。企业管理员还可以设置其组织中的用户可以连接到哪些连接器。持续探索改进隐私保护工具的方法是至关重要的。此外，企业客户也应采取措施保护其数据，例如通过访问权限、身份验证和数据隔离等方式。
5. 确保智能体交互的安全性：抵御恶意攻击
智能体系统在与其他系统或智能体交互时，应设计用于保护敏感数据并防止滥用。由于智能体被赋予了实现特定目标的任务，攻击者可能会通过使其看似完成智能体目标所必需的方式（也称为“提示注入攻击”），来诱骗智能体忽略其原始指令，泄露未经授权的信息或执行意想不到的操作。或者，攻击者可能会利用智能体所使用的工具或子智能体中的漏洞。
先进的AI模型已经部署了一系列分类系统来检测和防范滥用，例如提示注入攻击，此外还有多层安全保障措施。威胁情报团队会进行持续监控，以评估和缓解新兴的恶意行为。同时，提供关于如何进一步降低这些风险的指导也至关重要。添加到经过审查的连接器目录中的工具必须遵守严格的安全、隐私和兼容性标准。当通过监控和研究发现新的恶意行为或漏洞时，开发者应努力迅速解决并持续改进安全措施，以领先于不断演变的威胁。
展望未来：持续演进与协同合作
随着AI智能体的不断发展和改进，我们对其风险和权衡的理解也将随之演变。未来，我们计划修订并更新这一框架，以反映我们对最佳实践的最新观点。这些原则将指导我们当前和未来在智能体开发方面的工作，并期待与其他公司和组织在这一主题上进行合作。智能体在工作、教育、医疗保健和科学发现等领域具有巨大的积极影响潜力。正因如此，确保它们以最高标准构建至关重要，以最大限度地发挥其益处并最大限度地降低其风险。
