在AI代理系统开发过程中，当系统出现问题时，开发者常常倾向于跳过系统性的评估和错误分析，直接尝试快速修复错误。然而，这种看似高效的做法实际上可能会阻碍系统的长期发展。事实上，严格的评估流程和错误分析不仅能帮助我们更准确地理解问题所在，还能显著加速系统性能的提升进程。
为什么评估与错误分析如此重要
上周，我发表了一篇文章指出，团队在构建AI代理系统时取得进展速度的最大预测因素，并非使用了多么先进的技术，而是能否坚持执行一套系统化的评估和错误分析流程。这一观点引发了读者的广泛共鸣，许多人表示既惊讶又认同。
错误分析长期以来一直是构建监督学习系统的重要组成部分，但相比使用最新、最热门的工具，它仍然没有得到应有的重视。识别特定类型错误的根本原因可能看似"枯燥"，但其回报是巨大的。
错误分析的多领域类比
为了更好地理解错误分析的重要性，我们可以从几个不同领域的实践中获得启发：
音乐学习：要掌握一首乐器演奏曲，不仅仅是从头到尾反复弹奏同一首曲子。相反，你需要识别自己容易出错的部分，并针对性地加强练习。
健康管理：要保持健康，不能仅仅围绕最新的营养潮流构建饮食计划。你还需要咨询医生，查看血液检查结果，看看是否有任何异常。我上个月就做了这样的检查，很高兴地报告我的健康状况良好！😃
体育训练：要提高运动队的表现，不只是练习花哨的投篮技巧。相反，你需要回顾比赛录像，发现弱点，然后加以改进。
同样地，要提高你的AI代理系统性能，不应该仅仅堆砌最新在社交媒体上疯传的热门技术（尽管我和其他人一样喜欢尝试有趣的AI技术！）。相反，应该使用错误分析来找出系统的不足之处，并集中精力改进这些方面。
从评估开始
在分析错误之前，我们首先需要确定什么是"错误"。因此，第一步是建立评估体系(Evals)。本文将重点讨论评估，错误分析将在下一篇文章中详细阐述。
监督学习中的评估
如果你使用监督学习训练二元分类器，算法可能犯错误的种类是有限的。它可能输出0而不是1，或者相反。此外，还有一系列适用于许多问题的标准指标，如准确率、精确率、召回率、F1值、ROC曲线等。因此，只要你了解测试分布，评估就相对直接，而错误分析的大部分工作在于识别算法在哪些类型的输入上表现不佳，这也导致了数据驱动AI技术的发展，即通过获取更多数据来增强算法在薄弱区域的能力。
生成式AI中的新挑战
对于生成式AI，监督学习中评估和错误分析的许多直觉仍然适用——历史不会重演，但会押韵。那些已经熟悉机器学习和深度学习的开发者通常比从零开始的人更快适应生成式AI。但一个新的挑战是输出空间要丰富得多，因此算法输出可能有更多出错的方式。
以财务发票自动处理为例，我们使用代理工作流程来填充财务数据库，其中包含接收到的发票信息。算法可能会错误提取发票到期日？或者最终金额？或者将付款人地址误认为是账单地址？或者弄错货币？或者做出错误的API调用导致验证过程失败？由于输出空间更大，失败模式也更多。
构建有效的评估体系
与其预先定义错误指标，通常更有效的方法是先快速构建一个原型，然后手动检查几个代理输出，看看它在哪些方面表现良好，在哪些方面遇到困难。这使你能够专注于构建数据集和错误指标——有时是代码中实现的目标指标，有时是使用LLM作为评估者的主观指标——以检查系统在你最关心的维度上的性能。
在监督学习中，我们有时会调整错误指标，使其更好地反映人类的关注点。对于代理工作流程，我发现调整评估更加迭代，需要更频繁地调整评估方法，以捕捉更广泛的可能出错的问题。
评估后的系统改进
建立评估体系后，我们现在有了系统性能的衡量标准，这为尝试对代理进行不同修改提供了基础，因为我们现在可以衡量哪些改变产生了效果。下一步是执行错误分析，以确定应将开发精力集中在哪些更改上。
实践建议
不要跳过评估步骤：尽管直接修复错误似乎更高效，但系统化的评估和错误分析实际上能带来更快的长期进步。
从原型开始：快速构建原型，手动检查输出，确定系统优势和弱点。
构建针对性评估指标：根据系统表现构建专门的评估指标，既包括客观指标也包括主观评估。
迭代优化：评估过程应该是迭代的，需要根据发现的问题不断调整评估方法。
数据驱动改进：利用错误分析结果指导数据收集和系统改进，专注于最需要改进的领域。
结论
在AI代理系统开发中，评估和错误分析不是可有可无的步骤，而是确保系统高效进化的关键环节。通过系统性地识别问题、分析原因、针对性改进，开发团队可以避免"头痛医头、脚痛医脚"的陷阱，实现真正的技术突破。正如音乐家需要专注于困难乐章，运动员需要分析比赛录像一样，AI开发者也需要通过科学的评估和错误分析，不断优化代理系统的性能，最终构建出更加智能、可靠的AI解决方案。
