在人工智能领域，智能体(Agentic AI)系统的开发正变得越来越复杂。随着大语言模型(LLM)技术的飞速发展，构建高效可靠的智能体系统需要一套系统化的评估和错误分析方法。本文将深入探讨错误分析的核心概念和实践方法，帮助开发者识别和解决智能体系统中的性能瓶颈。
错误分析的重要性
有效的智能体AI开发需要严格的评估(eval)和错误分析流程。在上一篇文章中，我们介绍了如何执行评估，本文将重点讨论错误分析的核心思想和最佳实践。随着LLM技术的快速进步，当错误分析指向问题时，我们解决问题的选择比以往更加丰富。
以构建一个基本的深度研究智能体为例，该智能体能够搜索网络并撰写关于"黑洞科学最新发展"等主题的详细报告。智能体可能采取一系列步骤来生成最终报告，例如：
- 使用LLM生成与主题相关的几个网络搜索查询
- 调用网络搜索API获取结果列表
- 使用LLM识别最有价值的资源进行获取
- 要求LLM利用这些资源撰写报告
如果最终报告的质量低于人类研究人员遵循相同步骤完成的工作，性能差距可能来自任何步骤。基本的错误分析程序可能涉及收集输出质量不佳的主题样本集，并检查工作流程中每个步骤的结果（称为"追踪"），以确定哪些步骤最频繁地产生了明显劣于人工作业的结果。这对于决定专注于改进哪个步骤非常有价值。
错误分析的常见误区
关于错误分析的一个常见误解是，它需要大量工作才能开始。关键原则是查看工作流程的步骤，并确定哪些步骤对给定输入处理不当，通常通过与人类水平性能(HLP)进行比较。假设我们要自动化的任务是理想情况下应达到人类水平的任务，那么最重要的是系统地检查追踪记录，理解智能体何时未达到HLP。
正如我们可以通过快速粗糙的初始评估（可能仅使用少量示例）开始，然后迭代改进一样，错误分析也可以采用类似方法。具体来说，可以从非正式地阅读一个或少量追踪记录开始，以了解可能存在的问题。例如，如果您发现深度研究智能体中的网络搜索查询术语经常没有意义，这为您指明了初步的改进方向。
从非正式到严谨的错误分析
随着系统的成熟，您可以逐步过渡到更严谨的错误分析。最终，您可能会建立一个定期更新的、包含数千个性能不佳示例的数据集，并进行严格的评估，精确显示每个步骤在多大程度上导致了最终输出的问题，以及这些步骤在哪些具体方面存在不足。
这种类型的分析对于决定将精力集中在何处以改进整个智能体工作流程的性能非常有用！
利用LLM进步改进工作流程
除了改进单个步骤的执行，我们还可以改变如何将复杂任务分解为步骤。在使用机器学习或深度学习而非LLM构建的管道中，我发现工作流程的结构——即如何将整体任务分解为要执行的一系列步骤——很少改变。重新设计这是一个重大举措！
但在过去几年中，由于LLM改进速度如此之快，我看到工作流程设计的迭代速度大大加快。例如，一个非常常见的模式是拆除脚手架，让LLM做更多工作。当您现在可以访问比首次构建工作流程时更智能的LLM时，这通常是一个好方法。例如，您可能曾经使用LLM通过删除导航链接、广告、多余的HTML等内容来清理下载的网页，然后由另一个LLM使用清理后的页面撰写报告。由于LLM变得更智能，您可能决定跳过第一步，将更混乱的HTML直接放入最终LLM，而不进行初始清理步骤，但这可能会引入自己的错误。
另一个例子：也许一年前，我们使用硬编码规则来决定获取哪些网页以及何时获取更多，但现在我们可能让基于LLM的智能体更自主地做出这些决策。随着LLM变得更智能，我看到许多团队重新设计工作流程，以移除之前系统偏离轨道所需的硬编码步骤或约束。发现这样做的机会的一种方法是，如果错误分析表明一系列步骤的集体表现不如人类可能做到的，即使每个单独步骤的性能良好。这可能表明这些步骤的执行方式过于僵化。
实践建议
从简单开始：不要一开始就追求完美的错误分析。从非正式检查少量追踪记录开始，识别明显的问题领域。
建立基准：与人类水平性能(HLP)进行比较，为每个步骤建立明确的性能基准。
迭代改进：随着系统成熟，逐步增加分析的严谨性，建立更大规模的数据集进行评估。
拥抱LLM进步：定期重新评估工作流程设计，考虑是否可以移除硬编码步骤，让LLM承担更多责任。
关注集体表现：不仅关注单个步骤的性能，还要关注步骤之间的交互如何影响整体结果。
结论
错误分析是智能体AI开发中不可或缺的一环，它帮助我们识别系统中的薄弱环节，指导优化方向。随着LLM技术的不断进步，我们的工作流程设计和错误分析方法也在不断演进。通过系统性的错误分析和持续的流程优化，我们可以构建更高效、更可靠的智能体系统，充分发挥AI技术的潜力。
记住，错误分析不是一次性任务，而是一个持续的过程，应该随着系统的发展不断调整和完善。通过这种方法，我们能够不断改进智能体系统的性能，使其更接近甚至超越人类水平。
