在人工智能飞速发展的今天，语言模型已经渗透到我们生活的方方面面，从撰写邮件、生成代码到进行智能对话，它们的身影无处不在。然而，这些看似智能的系统，其内部运作机制却常常让人感到神秘莫测。最近，来自麻省理工学院（MIT）计算机科学与人工智能实验室（CSAIL）和电子工程与计算机科学系的研究人员，对语言模型的工作方式进行了深入研究，揭示了它们在处理动态变化情境时所采用的独特数学捷径。
这项发表于2025年7月21日的研究表明，语言模型并非像人类一样，通过逐步跟踪事件序列来理解和预测变化，而是依赖于巧妙的数学技巧，在不同的状态之间建立联系，从而实现预测。这一发现为我们改进语言模型，使其在更复杂的任务中表现更出色，提供了新的思路。
语言模型的“思考”方式：数学捷径而非循序渐进
我们的大脑在处理信息时，通常会按照时间顺序，一步一步地跟踪事件的进展，并根据已发生的事情来预测未来。例如，在阅读故事或下棋时，我们会记住之前的步骤，并以此为基础来判断下一步的行动。
语言模型在生成文本或代码时，也会进行类似的“思考”。它们利用Transformer架构来理解序列数据，并预测下一个词或代码片段。然而，由于其内部机制的限制，语言模型有时会做出错误的判断。因此，理解并调整这些内部机制，对于提高语言模型的可靠性至关重要，尤其是在天气预报和金融市场预测等动态任务中。
MIT CSAIL的研究人员发现，语言模型在处理动态情境时，并非像人类一样进行逐步跟踪，而是采用一种更为高效的数学方法。他们通过实验发现，语言模型会利用各种数学捷径，在不同的状态之间建立联系，从而快速做出预测。这种方法虽然高效，但也可能导致一些问题，例如，模型可能会过度依赖某些模式，而忽略了其他重要的信息。
“抢帽子”游戏：揭示语言模型的内部运作
为了更好地理解语言模型的内部运作机制，研究人员设计了一个巧妙的实验，类似于经典的“抢帽子”游戏。在这个游戏中，模型需要猜测一个数字序列在经过一系列变换后的最终排列。例如，给定一个初始序列“42135”，以及一系列变换规则，如将“4”移动到第三个位置，模型需要预测最终的序列。
通过这个实验，研究人员发现，基于Transformer的语言模型能够逐渐学会预测正确的最终排列。然而，与人类不同的是，模型并非按照给定的规则一步一步地进行变换，而是将连续的状态聚合在一起，并计算出最终的排列。
研究人员观察到，模型主要使用两种算法来解决这个问题：
- 结合律算法（Associative Algorithm）：这种算法将相邻的步骤组合成不同的组，然后计算最终的猜测。你可以将这个过程想象成一棵树，初始的数字排列是树的根，随着向上移动，相邻的步骤被组合成不同的分支，最终的结果是通过将每个分支上的序列相乘得到的。
- 奇偶结合律算法（Parity-Associative Algorithm）：这种算法首先确定最终排列是经过偶数次还是奇数次变换得到的，然后再将相邻的序列分组并相乘。这种算法可以有效地减少搜索空间，提高预测的准确性。
麻省理工学院博士生、CSAIL研究员、论文的第一作者Belinda Li表示：“这些行为告诉我们，Transformer通过结合律扫描来进行模拟。模型不是一步一步地跟踪状态变化，而是将它们组织成层次结构。我们应该如何鼓励Transformer学习更好的状态跟踪？也许我们应该迎合这些系统在跟踪状态变化时自然使用的那些方法，而不是强迫它们以一种类似人类的、循序渐进的方式来推断数据。”
Li补充道：“一种研究途径是沿着深度维度，而不是令牌维度来扩展测试时计算——通过增加Transformer层数，而不是在测试时推理过程中增加思维链令牌的数量。我们的工作表明，这种方法将允许Transformer构建更深的推理树。”
“透视镜”：观察语言模型的“思想”
为了观察结合律算法和奇偶结合律算法的工作方式，Li和她的合作者使用了各种工具来深入了解语言模型的“思想”。
他们首先使用了一种叫做“探测”的方法，它可以显示信息如何在AI系统中流动。你可以想象一下，你可以观察一个模型的大脑，看看它在特定时刻的想法——以类似的方式，这项技术可以绘制出系统在实验中对最终数字排列的预测。
然后，他们使用了一种叫做“激活修补”的工具，它可以显示语言模型在何处处理情境的变化。它包括干预系统的一些“想法”，将不正确的信息注入到网络的某些部分，同时保持其他部分不变，并观察系统将如何调整其预测。
这些工具揭示了算法何时会出错，以及系统何时“弄清楚”如何正确猜测最终的排列。他们观察到，结合律算法比奇偶结合律算法学习得更快，并且在较长的序列上表现得更好。Li认为，后者在更复杂的指令中遇到的困难，是由于过度依赖启发式方法（或允许我们快速计算出一个合理解决方案的规则）来预测排列。
Li说：“我们发现，当语言模型在训练的早期使用启发式方法时，它们会开始将这些技巧构建到它们的机制中。然而，这些模型的泛化能力往往不如那些不依赖启发式方法的模型。我们发现，某些预训练目标可以阻止或鼓励这些模式，因此，未来我们可以考虑设计一些技术，以阻止模型养成坏习惯。”
研究人员指出，他们的实验是在小规模的语言模型上进行的，这些模型是在合成数据上进行微调的，但发现模型的大小对结果几乎没有影响。这表明，微调更大的语言模型，如GPT 4.1，可能会产生类似的结果。该团队计划通过测试不同大小的、未经微调的语言模型，更仔细地检查他们的假设，评估它们在动态的真实世界任务中的表现，如跟踪代码和跟踪故事的演变。
哈佛大学博士后Keyon Vafa没有参与这篇论文，他说研究人员的发现可能会为推进语言模型创造机会。他说：“大型语言模型的许多用途都依赖于跟踪状态：从提供食谱到编写代码，再到跟踪对话中的细节。这篇论文在理解语言模型如何执行这些任务方面取得了重大进展。这一进展为我们提供了关于语言模型正在做什么的有趣见解，并为改进它们提供了有希望的新策略。”
研究意义与未来展望
这项研究揭示了语言模型在处理动态情境时所采用的独特数学捷径，为我们改进语言模型，使其在更复杂的任务中表现更出色，提供了新的思路。通过了解这些捷径，我们可以更好地控制语言模型的行为，并避免它们过度依赖某些模式，从而提高其预测的准确性和可靠性。
此外，这项研究还为我们提供了一种新的视角来看待语言模型。我们通常认为语言模型是一种黑盒，很难理解其内部运作机制。然而，通过这项研究，我们发现语言模型并非完全不可理解，它们也有自己的“思考”方式，而这种方式与人类的思维方式有所不同。
未来，研究人员计划进一步探索语言模型在处理动态情境时的行为，并尝试开发新的算法，使其能够更好地跟踪状态变化。他们还计划将这项研究应用于更实际的任务中，例如，开发更准确的天气预报模型和金融市场预测模型。
总而言之，这项研究为我们理解语言模型的内部运作机制提供了一个重要的突破，并为我们改进语言模型，使其在更复杂的任务中表现更出色，提供了新的思路。随着人工智能技术的不断发展，我们有理由相信，未来的语言模型将会变得更加智能、可靠和有用。
