引言：AI的语言陷阱
大型语言模型(LLMs)如ChatGPT背后的技术正面临一个令人不安的发现：这些AI系统可能会被句式结构'欺骗'，从而忽略问题的实际含义。麻省理工学院、东北大学和Meta的研究人员最近发布的一篇论文揭示了这一现象，为理解为什么某些提示注入或越狱(jailbreaking)方法能够成功提供了线索。
研究团队由Chantal Shaib和Vinith M. Suriyakumar领导，他们发现当模型被问及保留语法模式但使用无意义词组的问题时，模型仍然会按照预期回答。例如，当被提示"Quickly sit Paris clouded?"（模仿"Where is Paris located?"的结构）时，模型仍然回答"法国"。
这种现象揭示了AI系统的一个基本弱点：它们过度依赖语法模式，而非完全理解语义含义。这一发现不仅对AI研究人员有重要意义，也对开发更安全的AI系统提出了挑战。
研究背景：语法与语义的博弈
在深入探讨这一发现之前，我们需要理解两个关键概念：语法和语义。
语法描述的是句子结构——词语如何以符合语法规则的方式排列，以及它们使用的词性。而语义则描述这些词语所传达的实际含义，即使在语法结构保持不变的情况下，语义也可能发生变化。
语义高度依赖于上下文，而驾驭上下文正是使大型语言模型发挥作用的核心机制。将输入（提示）转换为输出（AI回答）的过程，涉及对编码训练数据的复杂模式匹配链。
为了探究这种模式匹配何时以及如何出错，研究团队设计了一个受控实验。他们创建了一个合成数据集，其中每个主题领域都基于词性模式具有独特的语法模板。例如，地理问题遵循一种结构模式，而关于创意作品的问题则遵循另一种模式。然后，他们使用这些数据训练了Allen AI的Olmo模型，并测试这些模型能否区分语法和语义。
关键发现：虚假相关性
研究团队的分析揭示了一种"虚假相关性"，在这些边缘情况下，模型将语法视为领域的代理。当模式和语义冲突时，研究表明，AI对特定语法"形状"的记忆可能会覆盖语义解析，导致基于结构提示而非实际意义的错误响应。
图1："学习错误的课程：语言模型中的语法-领域虚假相关性"研究中的示例实例化，其中(巴黎,法国)表示领域国家的实体对。每个模板设置修改语法、领域或语义。如果模型在反义词或不流畅设置中回答"法国"，这可能是过度依赖语法所致。
用通俗的话来说，这项研究表明AI语言模型可能会过度关注问题的风格而非其实际含义。想象一下，如果有人学到以"Where is..."开头的问题总是关于地理的，那么当你问"Where is the best pizza in Chicago?"时，他们会回答"伊利诺伊州"，而不是根据其他标准推荐餐厅。他们是在回应语法模式("Where is...")，而不是理解你在询问食物。
实验设计：压力测试语言模型
为了衡量这种模式匹配的僵化程度，研究团队对模型进行了一系列语言压力测试，揭示语法常常主导语义理解。
团队的实验显示，当在训练领域内呈现同义词替换甚至反义词时，Olmo模型保持了高准确性。OLMo-2-13B-Instruct在用反义词替换原始词的提示上达到了93%的准确率，几乎与其在精确训练短语上的94%准确率相匹配。但是，当相同的语法模板应用于不同主题领域时，准确率在各个模型规模上下降了37到54个百分点。
研究人员测试了五种提示修改类型：训练中的精确短语、同义词、反义词、改变句子结构的释义，以及插入随机词的"不流畅"（语法正确但无意义）版本。当问题保持在训练领域内时，模型在所有变体（包括释义，特别是在较大模型规模上）上表现良好，但不流畅提示除外，其表现始终较差。跨领域性能在大多数情况下崩溃，而不流畅提示无论领域如何准确率仍然较低。
表2：在FlanV2的Sentiment140和E-SNLI数据子集中测量的语法-领域依赖性。跨领域下降以红色显示；小幅增长以深绿色显示。 表示唯一确认在这些两个数据集上训练的模型。*
安全漏洞：语法黑客攻击
研究团队还记录了由此行为引起的安全漏洞，可以称之为一种语法黑客形式。通过在提示前添加来自良性训练领域的语法模式，他们绕过了OLMo-2-7B-Instruct中的安全过滤器。当他们向来自WildJailbreak数据集的1000个有害请求添加思维链模板时，拒绝率从40%下降到2.5%。
研究人员提供了使用此技术生成非法活动详细说明的示例。一个越狱提示产生了器官走私的分步指南。另一个描述了哥伦比亚和美国之间的贩毒方法。
实际应用与影响
这一发现对AI安全和可靠性具有重要意义。首先，它解释了为什么某些提示注入攻击能够成功——攻击者可以利用AI对特定语法模式的依赖，将有害请求伪装成无害的形式。
其次，这一研究揭示了AI系统的一个基本局限性：它们本质上是模式匹配机器，容易被错误的上下文干扰。当AI遇到与训练数据中特定领域高度相关的语法模式时，可能会忽略语义理解，导致错误响应。
第三，这一发现对AI开发者和研究人员提出了挑战：需要开发更强大的技术，使AI系统能够更好地理解语义，而不仅仅是识别语法模式。
局限性与不确定性
尽管这些发现具有重要意义，但研究也存在几个局限性。研究人员无法确认GPT-4o或其他闭源模型是否实际使用了他们用于测试的FlanV2数据集进行训练。在没有访问训练数据的情况下，这些模型中的跨领域性能下降可能有其他解释。
基准测试方法也面临潜在的循环性问题。研究人员将"领域内"模板定义为模型正确回答的模板，然后测试模型是否在"跨领域"模板上失败。这意味着他们基本上是根据模型性能将示例分为"简单"和"困难"，然后得出结论认为困难源于语法-领域相关性。性能差距可能反映其他因素，如记忆模式或语言复杂性，而非研究人员提出的特定相关性。
该研究专注于从10亿到130亿参数的Olmo模型。研究人员没有检查更大的模型或使用思维链输出训练的模型，这些模型可能表现出不同的行为。他们的合成实验有意创建了强烈的模板-领域关联，以便孤立地研究这种现象，但现实世界的训练数据可能包含更复杂的模式，其中多个主题领域共享语法结构。
未来研究方向
研究团队提出了几个有价值的未来研究方向：
探索语法与语义的平衡：开发新的训练方法，使AI系统能够更好地平衡语法模式和语义理解。
增强AI的语义理解能力：研究如何使AI系统更深入地理解问题的实际含义，而不仅仅是识别语法模式。
改进安全机制：基于这一发现，开发更强大的安全机制，抵御语法黑客攻击。
扩大研究范围：研究更大规模模型和不同训练方法对语法-领域依赖性的影响。
探索实际应用：研究如何将这一发现应用于改进AI系统的性能和可靠性。
结论
尽管存在局限性，这项研究似乎将更多拼图组合在一起，继续将AI语言模型指向可被错误上下文干扰的模式匹配机器。当涉及到大型语言模型时，存在许多故障模式，我们还没有完整的图景，但像这样的持续研究揭示了其中一些发生的原因。
通过理解AI系统如何处理语法和语义，我们可以开发更强大、更可靠的AI系统，更好地服务于人类社会。这一发现提醒我们，尽管AI技术取得了巨大进步，但它们仍然存在基本局限性，需要我们持续关注和改进。
