在人工智能领域，我们常常惊叹于大型语言模型(LLMs)如ChatGPT能够迅速撰写文章或规划菜单的能力。然而，直到最近，这些模型仍然很容易被数学问题和复杂推理所难倒。这些依赖语言模式回应用户查询的模型，在需要深度思考的任务上表现往往不尽如人意。但令人惊讶的是，它们的能力正在迅速提升。
新一代被称为"推理模型"的大型语言模型正在被训练来解决复杂问题。与人类一样，它们需要时间来思考这些问题——而麻省理工学院麦戈文脑科学研究所的科学家们发现，需要推理模型进行最多处理的问题，恰恰是人类需要花时间思考的问题。换句话说，正如他们在《美国国家科学院院刊》(PNAS)上发表的研究报告所述，推理模型的"思维成本"与人类的思维成本相似。
研究背景与方法
这项研究由麻省理工学院脑与认知科学系副教授、麦戈文脑科学研究所研究员伊芙琳·费多伦科(Evelina Fedorenko)领导。研究团队包括K·丽莎·杨ICoN中心研究员、费多伦科实验室的博士后安德烈亚·格雷戈·德·瓦尔达(Andrea Gregor de Varda)。
"直到最近，我一直是那些说'这些模型在感知和语言方面确实很擅长，但要让我们有能够进行推理的神经网络模型还需要很长时间'的人之一，"费多伦科说。"然后这些大型推理模型出现了，它们似乎在许多这类思维任务上表现得更好，比如解决数学问题和编写计算机代码。"
格雷戈·德·瓦尔达解释说，推理模型通过逐步解决问题来工作。"在某个时候，人们意识到模型需要更多空间来执行解决复杂问题所需的实际计算，"他说。"如果你让模型将问题分解为各个部分，其性能会变得强得多。"
思维成本的测量方法
为了更系统地研究推理模型与人类思维之间的关系，研究团队设计了一项创新实验。他们给推理模型和人类志愿者提供了相同的问题集，不仅跟踪他们是否得到正确答案，还记录他们到达答案所需的时间或努力程度。
对于人类，这意味着测量每个人回答每个问题所需的时间，精确到毫秒。对于模型，瓦尔达使用了不同的指标。由于处理时间更多地取决于计算机硬件而非模型解决问题的努力程度，因此转而跟踪"token"——模型思维链的组成部分。
"它们生成的token不是给用户看的，而是用来跟踪它们正在进行的内部计算，"德·瓦尔达解释道。"这就像它们在自言自语。"
实验结果：惊人的相似性
研究团队要求人类和推理模型解决七种不同类型的问题，包括数值计算和直觉推理。对于每类问题，他们给出了多个问题实例。
研究发现，问题的难度越大，人类解决它所需的时间越长；而人类解决问题的时间越长，推理模型在得出自己解决方案时生成的token就越多。
同样，人类花费最长时间解决的问题类别，也是模型需要最多token的类别：算术问题需求最低，而被称为"ARC挑战"的一组问题（其中成对的彩色网格表示必须推断并应用于新对象的转换）对两者来说成本最高。
"构建这些模型的人并不关心它们是否像人类一样思考。他们只希望系统能在各种条件下稳健运行并产生正确答案，"费多伦科说。"存在某种收敛现象的事实确实非常引人注目。"
研究意义与未来方向
这一发现具有重要的理论和实践意义。从理论上讲，它表明在至少一个重要方面，推理模型具有类人思维方法——尽管这并非设计初衷。从实践角度看，这一发现可能帮助AI开发人员创建更接近人类认知方式的系统。
然而，费多伦科和德·瓦尔达强调，这并不意味着模型正在重现人类智能。"我们仍然想知道模型是否使用与人类大脑相似的信息表征，以及这些表征如何转化为问题的解决方案，"他们说。他们还好奇模型能否处理需要训练文本中未明确说明的世界知识的问题。
一个有趣的发现是，尽管推理模型在解决问题时会产生内部独白，但它们不一定使用语言进行思考。"如果你观察这些模型在推理时产生的输出，即使它们最终得出正确答案，其中也常常包含错误或一些无意义的内容。因此，实际的内部计算可能发生在抽象的、非语言表征空间中，类似于人类不使用语言进行思考的方式。"
对AI发展的启示
这项研究对AI发展提供了重要启示。首先，它表明在追求强大AI性能的过程中，我们可能无意中创造出具有类人思维特征的系统。其次，它强调了在AI设计中考虑"思考时间"的重要性——就像人类需要时间来思考复杂问题一样，AI模型也可能需要"处理时间"来解决同样的问题。
图：AI推理模型与人类在解决复杂问题时展现出相似的思维模式，尽管其底层机制可能不同。
未来，研究团队计划进一步探索模型与人类思维的其他相似之处，特别是在信息表征和问题解决策略方面。他们还希望研究是否可以设计出更明确地模拟人类认知过程的AI系统，以及这种模拟是否会导致更通用、更灵活的AI。
这项研究不仅加深了我们对AI工作方式的理解，也为我们理解人类思维本身提供了新的视角。通过比较AI与人类的思维过程，我们可能能够揭示认知的基本原理，这些原理可能适用于任何智能系统，无论其生物学基础如何。
结语
MIT的这项研究揭示了AI推理模型与人类思维之间令人惊讶的平行性。虽然这并不意味着AI正在"复制"人类思维，但它表明，在解决复杂问题时，不同类型的智能系统可能需要遵循类似的认知路径。这一发现不仅对AI研究具有重要意义，也为认知科学提供了新的研究思路，帮助我们更深入地理解智能的本质。
