在人工智能领域，语言模型正日益成为研究和应用的热点。这些模型，如OpenAI的ChatGPT，通过学习大量的文本数据，能够生成自然流畅的文本，完成各种任务，例如代码编写、文本创作和问题解答。然而，这些模型内部的运作机制仍然是一个复杂而引人关注的问题。最近，麻省理工学院（MIT）计算机科学与人工智能实验室（CSAIL）的研究人员发表了一篇论文，深入探讨了语言模型在处理动态变化情境时的运作方式，并揭示了一些令人惊讶的发现。
该研究的核心问题是：语言模型是否像人类一样，通过逐步跟踪事件的演变来理解和预测未来？或者，它们是否采用了某种“捷径”，利用数学方法来简化计算，从而实现高效的预测？为了解答这个问题，研究团队设计了一系列巧妙的实验，旨在模拟现实世界中动态变化的情境，并观察语言模型在这些情境下的表现。
“杯子戏法”实验
研究人员设计了一个类似于“杯子戏法”的实验，来探究语言模型如何追踪快速变化的对象位置。在这个实验中，模型需要追踪一系列数字的排列变化。例如，给定一个初始序列“42135”，模型会收到一系列指令，指示如何移动这些数字，例如将“4”移动到第三个位置。模型的任务是在不知道最终结果的情况下，预测最终的数字排列。
通过这个实验，研究人员发现，语言模型并没有像人类一样，逐步模拟数字的移动过程。相反，它们倾向于采用一种称为“结合律算法”（Associative Algorithm）的数学捷径。这种算法将相邻的步骤组合在一起，形成一个层次结构，然后通过计算这个层次结构来预测最终的排列。
具体来说，结合律算法将初始的数字排列视为一个树的根节点。随着移动步骤的进行，相邻的步骤被分组到不同的分支中，并进行相乘运算。最终，通过将所有分支上的结果相乘，得到最终的数字排列。这种方法类似于将一系列的线性变换组合成一个单一的变换，从而避免了逐步模拟每个步骤的复杂计算。
除了结合律算法，研究人员还观察到另一种称为“奇偶结合律算法”（Parity-Associative Algorithm）的数学捷径。这种算法首先确定最终的排列是偶数次还是奇数次移动的结果，然后根据这个奇偶性来简化计算。这种方法可以减少搜索空间，从而提高预测的效率。
研究的意义
这项研究揭示了语言模型在处理动态变化情境时，并不总是像人类一样进行逐步推理。相反，它们倾向于利用数学捷径来简化计算，从而实现高效的预测。这一发现对于理解语言模型的内部运作机制具有重要的意义，并为改进这些模型提供了新的思路。
MIT的博士生，同时也是CSAIL的附属研究员Belinda Li SM ’23，作为这篇论文的主要作者之一，她指出：“这些行为告诉我们，Transformer模型通过结合律扫描来执行模拟。模型不是逐步跟踪状态变化，而是将它们组织成层次结构。”她还提到，“我们如何鼓励Transformer模型学习更好的状态跟踪？或许我们不应该强迫这些系统以类似人类的顺序方式对数据进行推断，而是应该迎合他们在跟踪状态变化时自然使用的方法。”
研究人员认为，通过控制语言模型何时使用这些数学捷径，可以提高模型的预测能力。例如，可以设计一种训练方法，鼓励模型在某些情况下使用逐步推理，而在另一些情况下使用数学捷径。
研究方法
为了观察结合律和奇偶结合律算法是如何运作的，Li和她的合作者使用了能够窥探语言模型“内心”的工具。
他们首先使用了一种叫做“探测”的方法，它可以显示信息在AI系统中是如何流动的。想象一下，你可以观察一个模型的大脑，看看它在特定时刻的想法——这种技术以类似的方式，绘制出系统在实验中对数字最终排列的预测。
然后，他们使用了一种叫做“激活修补”的工具，来显示语言模型在何处处理情境的变化。它涉及到干预系统的一些“想法”，将不正确的信息注入到网络的某些部分，同时保持其他部分不变，并观察系统将如何调整其预测。
这些工具揭示了算法何时会出错，以及系统何时“弄清楚”如何正确猜测最终的排列。他们观察到，结合律算法比奇偶结合律算法学习得更快，同时在更长的序列上表现更好。Li认为，后者在处理更复杂的指令时遇到的困难，是因为过度依赖于启发式方法（或允许我们快速计算出合理解决方案的规则）来预测排列。
未来的研究方向
研究人员计划在未来的工作中，探索如何设计新的训练方法，以提高语言模型的预测能力。他们还计划研究这些发现是否适用于其他类型的语言模型，以及这些模型在处理现实世界中的任务时，是否也会采用类似的数学捷径。
哈佛大学的博士后研究员Keyon Vafa（他没有参与这篇论文）表示，研究人员的发现可能会为推进语言模型创造机会。他说：“大型语言模型的许多用途都依赖于跟踪状态：从提供食谱到编写代码，再到跟踪对话中的细节。这篇论文在理解语言模型如何执行这些任务方面取得了重大进展。这一进展为我们提供了对语言模型正在做什么的有趣见解，并为改进它们提供了有希望的新策略。”
总的来说，这项研究为我们理解语言模型的内部运作机制提供了一个新的视角，并为改进这些模型开辟了新的道路。通过深入研究这些模型的“内心”，我们可以更好地利用它们的潜力，并将其应用于更广泛的领域。
研究团队
Li与MIT的本科生Zifan “Carl” Guo以及资深作者Jacob Andreas（他是MIT电子工程与计算机科学副教授和CSAIL首席研究员）共同撰写了这篇论文。他们的研究得到了Open Philanthropy、MIT Quest for Intelligence、国家科学基金会、Clare Boothe Luce STEM女性计划和Sloan研究奖学金的部分支持。
研究人员在本周的国际机器学习会议（ICML）上展示了他们的研究成果。
结论
麻省理工学院的这项研究为我们揭示了语言模型在处理动态情境时所采用的独特数学捷径。这些发现不仅加深了我们对语言模型内部运作机制的理解，也为未来的研究和改进方向提供了新的思路。通过控制这些捷径的使用，我们可以进一步提升语言模型的预测能力，使其在更广泛的应用领域中发挥更大的作用。未来的研究可以进一步探索如何将这些发现应用于更大规模的语言模型，以及如何在现实世界的动态任务中验证这些结论。这项研究无疑为人工智能领域的发展注入了新的活力，并为我们更好地理解和利用语言模型奠定了坚实的基础。
