在人工智能领域,我们常常思考一个问题:机器的思考方式与人类有何不同?麻省理工学院(MIT)的神经科学家们最近的一项研究为我们提供了令人惊讶的答案——在某些方面,最先进的AI模型与人类的思考方式竟然有着惊人的相似性。
研究背景:AI的快速进化
大型语言模型(LLM)如ChatGPT能够在瞬间撰写文章或规划菜单,但直到最近,这些模型仍然很容易被难倒。这些依赖语言模式回应用户查询的模型,在数学问题和复杂推理方面表现不佳。然而,突然之间,它们在这些方面的能力有了显著提升。
一种被称为"推理模型"的新一代LLM正在被训练来解决复杂问题。与人类一样,这些问题需要它们花时间思考——值得注意的是,MIT麦戈文脑研究所的科学家们发现,需要推理模型进行最多处理的问题,恰恰是人类也需要花时间思考的问题。换句话说,他们今天在《美国国家科学院院刊》(PNAS)上报告称,推理模型的"思考成本"与人类的思考成本相似。
这项研究由MIT脑与认知科学系副教授、麦戈文研究所研究员Evelina Fedorenko领导。他们的结论是,至少在重要方面,推理模型具有类人的思维方式。正如Fedorenko所指出的:"构建这些模型的人并不关心它们是否像人类一样思考。他们只希望系统能在各种条件下稳健运行并产生正确答案。存在某种收敛现象确实相当引人注目。"
推理模型的工作原理
与许多形式的人工智能一样,新的推理模型是人工神经网络:当给定数据和要解决的问题时,学习如何处理信息的计算工具。人工神经网络在许多大脑神经网络擅长的任务上非常成功——在某些情况下,神经科学家发现表现最佳的那些模型确实与大脑在信息处理方面共享某些方面。
然而,一些科学家曾认为人工智能尚未准备好承担人类智能更复杂的方面。
"直到最近,我还是那些说'这些模型在感知和语言等方面真的很擅长,但我们还需要很长时间才能拥有能够进行推理的神经网络模型'的人之一,"Fedorenko说。"然后这些大型推理模型出现了,它们似乎在许多思维任务上表现更好,比如解决数学问题和编写计算机代码片段。"
麦戈文研究所K. Lisa Yang ICoN中心研究员、Fedorenko实验室的博士后Andrea Gregor de Varda解释说,推理模型逐步解决问题。"在某个时候,人们意识到模型需要更多空间来执行解决复杂问题所需的实际计算,"他说。"如果你让模型将问题分解为各个部分,性能就会变得强得多。"
为了鼓励模型逐步解决复杂问题并导向正确解决方案,工程师可以使用强化学习。在训练过程中,模型因正确答案而获得奖励,因错误答案而受到惩罚。"模型自己探索问题空间,"de Varda说。"导致积极奖励的行为会得到强化,从而使它们更频繁地产生正确解决方案。"
以这种方式训练的模型比其前身更有可能在给定推理任务时得出与人类相同的答案。它们的逐步解决问题确实意味着推理模型可能比之前的LLM花更长的时间找到答案——但由于它们在之前模型会失败的地方得到了正确答案,它们的等待是值得的。
思考成本的测量:时间与代币
推理模型需要花时间解决复杂问题,这已经暗示了与人类思维的平行:如果你要求一个人立即解决一个难题,他们可能也会失败。De Varda希望更系统地研究这种关系。因此,他给推理模型和人类志愿者提供了相同的问题集,并不仅跟踪他们是否得到正确答案,还跟踪他们到达答案所需的时间或努力程度。
这意味着测量人们对每个问题做出反应所需的时间,精确到毫秒。对于模型,Varda使用了不同的指标。测量处理时间没有意义,因为这更多取决于计算机硬件而非模型解决问题的努力。相反,他跟踪"代币",这是模型内部思维链的一部分。"它们产生的代币不是给用户看的,而是用来记录它们正在进行的内部计算,"de Varda解释道。"就好像它们在自言自语。"
人类和推理模型都被要求解决七种不同类型的问题,如数字算术和直觉推理。对于每种问题类型,他们都被给予了多个问题。给定的问题越难,人类解决它所需的时间越长——而人类解决问题的时间越长,推理模型在得出自己的解决方案时产生的代币就越多。
同样,人类花最长时间解决的问题类型,正是需要模型最多代币的问题类型:算术问题需求最少,而被称为"ARC挑战"的一组问题(其中成对的彩色网格表示必须推断并应用于新对象的转换)对人和模型来说都是成本最高的。
研究意义与未来方向
De Varda和Fedorenko表示,思考成本的惊人匹配证明了推理模型在某种程度上像人类一样思考的一种方式。但这并不意味着这些模型正在重现人类智能。研究人员仍然想知道模型是否使用与人类大脑相似的信息表示,以及这些表示如何转化为问题的解决方案。
他们还好奇模型是否能够处理需要世界知识的问题,而这些知识并未用于模型训练的文本中明确说明。
研究人员指出,尽管推理模型在解决问题时会产生内部独白,但它们不一定是在使用语言思考。"如果你观察这些模型在推理时产生的输出,即使模型最终得出正确答案,它通常也包含错误或一些无意义的部分,"他说。"因此,实际的内部计算很可能发生在抽象的、非语言的表示空间中,类似于人类不使用语言进行思考的方式。"
这项研究的重要性在于,它表明人工智能的发展可能无意中遵循了某些与人类认知相似的路径。这不仅对我们理解AI的工作方式有重要启示,也可能为改进AI系统提供线索——如果我们知道某些思维模式对人类有效,我们或许可以在AI设计中考虑这些模式。
对人工智能发展的启示
这一发现对人工智能的发展有着深远的影响。首先,它表明我们可能需要重新思考AI与人类认知的关系。传统观点认为,AI是通过完全不同的方式学习和解决问题的,但这项研究表明,至少在某些方面,AI可能正在"重新发明"类似于人类的认知策略。
其次,这一发现可能对AI训练方法有所启示。如果我们知道某些问题类型对人类和AI都特别"昂贵"(需要更多认知资源),我们或许可以开发更高效的训练策略,专门针对这些困难问题类型。
最后,这项研究强调了跨学科研究的重要性。神经科学与人工智能的结合,不仅有助于我们理解大脑,也可能启发更先进的人工智能系统的发展。正如Fedorenko所强调的,"这种收敛现象是相当引人注目的",它提醒我们,尽管人类大脑和人工智能系统在实现方式上有根本不同,但它们可能在某些认知功能上遵循相似的原则。
结论
MIT的这项研究揭示了人类思维与人工智能之间令人惊讶的平行性。推理模型与人类在思考复杂问题时展现出相似的成本模式,这一发现挑战了我们对AI工作方式的传统理解,也为人工智能与认知科学的交叉研究开辟了新方向。
正如研究团队所强调的,这种相似性并非刻意设计的结果,而是人工智能系统在解决复杂问题时自然涌现的特性。这一发现不仅丰富了我们对人类认知的理解,也为未来人工智能系统的发展提供了新的思考角度。
随着人工智能技术的不断发展,我们可能会发现更多人类思维与AI之间的相似之处。这些发现不仅有助于我们创造更智能、更高效的AI系统,也可能反过来帮助我们更好地理解人类自身的认知机制——毕竟,正如这项研究所表明的,在解决复杂问题的道路上,人类和AI可能比我们想象的更为相似。











