在人工智能领域，大型语言模型（LLMs）的能力日新月异，它们不仅能生成流畅的文本，还能执行各种复杂的任务。然而，如何有效地评估这些模型的工具使用能力，成为了一个重要的挑战。最近，上海交通大学和上海AI实验室联合推出了一个名为GTA（General Tool Agents）的基准测试，旨在全面、细粒度地评估LLMs在真实世界场景中调用工具的能力。这一举措无疑为AI研究人员和开发者提供了一个强大的评估工具，有望推动通用工具智能体的进一步发展。
GTA的诞生，源于对现有评估方法的局限性的认识。传统的评估方法往往侧重于模型的语言生成能力，而忽略了其在实际应用中调用工具的能力。为了弥补这一不足，GTA基于真实的用户问题、真实部署的工具和多模态输入输出，建立了一个更为全面、细粒度的评估框架。该框架包含229个人类设计的问题，覆盖感知、操作、逻辑和创造力等多个类别，要求模型推理合适的工具，规划操作步骤，最终解决现实世界中的复杂任务。
那么，GTA究竟有哪些独特的功能和技术原理呢？它又将如何应用到实际场景中呢？让我们一起深入了解一下。
GTA的主要功能
GTA的核心在于其提供的一系列强大的评估功能，这些功能旨在全面、细致地衡量LLMs在工具使用方面的能力：
真实用户查询：GTA包含229个人类编写的问题，这些问题源于真实的现实世界场景，具有明确的目标。然而，解决这些问题所需的步骤和工具并非显而易见，需要LLM基于推理来选择合适的工具，并规划操作步骤。这种设计旨在模拟真实用户的使用场景，更真实地反映模型的能力。
真实部署的工具：GTA提供了一个评估平台，该平台部署了涵盖感知、操作、逻辑和创造力四大类别的14种工具。这些工具都是真实部署的，可以实际执行任务，从而更准确地评估代理的实际任务执行性能。与模拟工具相比，真实工具更能反映模型在实际应用中的表现。
多模态输入输出：GTA引入了空间场景、网页截图、表格、代码片段、手写/打印材料等多模态输入，要求模型能够处理丰富的上下文信息。同时，模型需要给出文本或图像输出，这要求模型具备跨模态的理解和生成能力。这种多模态的设计更符合真实世界的应用场景，更能体现模型的综合能力。
细粒度评估：GTA设计了一系列细粒度的评估指标，包括指令遵循准确率（InstAcc）、工具选择准确率（ToolAcc）、参数预测准确率（ArgAcc）和答案总结准确率（SummAcc），以及最终答案准确率（AnsAcc）。这些指标覆盖了工具调用的整个过程，可以更全面地评估模型的性能。
模型评测：GTA支持在逐步模式（step-by-step mode）和端到端模式（end-to-end mode）下评估语言模型。在逐步模式下，可以更清晰地了解模型在每个步骤中的表现；而在端到端模式下，则可以更真实地反映模型在实际应用中的性能。这两种模式的结合，可以提供对模型工具使用能力的全面评估。
GTA的技术原理
GTA之所以能够实现如此全面的评估功能，离不开其背后精巧的技术原理：
数据集构建：GTA的数据集构建包括问题构建和工具链构建两个步骤。问题由专家设计样例和标注文档，然后由标注人员基于样例设计更多的问题，以确保问题的多样性和质量。工具链则由标注人员手动调用部署好的工具构建，确保每个问题都能用提供的工具解决。这种严谨的数据集构建过程，为GTA的评估提供了可靠的基础。
工具调用：GTA采用ReAct风格的提示模板，让LLM以特定的格式调用工具，并处理工具返回的结果。这种模板支持LLM进行推理和规划，决定何时以及如何调用工具。ReAct风格的提示模板已被证明是一种有效的工具调用方法，可以提高模型的工具使用能力。
多模态处理：GTA要求LLM处理和理解多模态输入，包括图像、文本等。这要求模型具备跨模态的理解和推理能力，能够将不同模态的信息融合在一起，从而更好地完成任务。多模态处理是当前AI研究的热点之一，也是未来AI应用的重要方向。
细粒度评估指标：GTA设计的评估指标覆盖工具调用的整个过程，从LLM的工具调用过程到执行结果，提供了对模型性能的全面评估。这些指标不仅可以衡量模型的准确率，还可以反映模型的效率和可靠性。通过这些细粒度的评估指标，研究人员可以更深入地了解模型的优缺点，从而进行更有针对性的改进。
模型比较：GTA可以用于比较不同模型在处理真实世界问题时的表现，从而揭示现有模型在工具使用方面面临的瓶颈。通过对不同模型的比较，可以为未来的通用工具智能体提供改进方向，推动AI技术的不断发展。
GTA的应用场景
GTA作为一种强大的评估工具，其应用场景非常广泛：
智能助理开发：GTA可以用于评估和训练智能助理，使其更好地理解和执行复杂的用户请求，涉及多步骤和多种工具的调用。通过GTA的评估，可以不断提高智能助理的性能，使其更好地服务于用户。
多模态交互：在需要处理图像、文本和其他多媒体内容的场景中，GTA可以帮助模型学习如何结合多种输入类型解决问题。这对于开发更自然、更智能的人机交互系统至关重要。
自动化客户服务：GTA可以用于开发自动解决客户问题的系统，该系统需要调用不同的工具和资源，以提供准确的答案和解决方案。这可以大大提高客户服务的效率和质量，降低运营成本。
教育和培训：GTA可以作为教育工具，帮助学生理解如何设计和实现复杂的任务，这些任务需要多步骤推理和工具使用。通过GTA的实践，学生可以更好地掌握AI技术，为未来的职业生涯做好准备。
研究和开发：研究人员可以使用GTA来测试和比较不同的LLMs，探索工具使用能力的新方法，推动AI技术的发展。GTA作为一个开放的平台，可以促进AI研究人员之间的交流与合作，共同推动AI技术的进步。
如何获取GTA
对于对GTA感兴趣的研究人员和开发者，可以通过以下方式获取相关资源：
- 项目官网：open-compass.github.io/GTA
- GitHub仓库：https://github.com/open-compass/GTA
- HuggingFace模型库：https://huggingface.co/datasets/Jize1/GTA
- arXiv技术论文：https://arxiv.org/pdf/2407.08713
通过这些资源，可以更深入地了解GTA的细节，并将其应用到自己的研究和项目中。
总而言之，GTA的推出，为评估通用工具智能体提供了一个强大的基准测试。它不仅能够全面、细粒度地评估LLMs在真实世界场景中调用工具的能力，还能够为AI研究人员和开发者提供改进方向。相信在GTA的推动下，通用工具智能体将迎来更加美好的未来。让我们拭目以待！
