在人工智能快速发展的今天，大型语言模型(LLMs)已成为我们日常生活和工作中的重要工具。然而，这些看似智能的系统并非无懈可击。最新研究揭示了一个令人担忧的现象：AI模型可能过度依赖句法结构而非实际意义，这一弱点可能被恶意行为者利用来绕过安全限制。
研究发现：语法优先于语义
由MIT、东北大学和Meta研究人员组成的研究团队最近发表了一篇论文，指出类似ChatGPT的大型语言模型在回答问题时，有时会优先考虑句子结构而非实际含义。这项研究为某些提示注入或越狱攻击为何能成功提供了线索。
研究团队由Chantal Shaib和Vinith M. Suriyakumar领导，他们通过向模型提出保留语法模式但包含无意义词汇的问题来测试这一理论。例如，当模型被提示"Quickly sit Paris clouded?"（模仿"Where is Paris located?"的结构）时，模型仍然回答"France"。
这表明模型既吸收了意义又吸收了句法模式，但当这些模式与特定领域的训练数据高度相关时，模型可能会过度依赖结构捷径，有时允许模式在边缘情况下覆盖语义理解。
虚假相关性：语法与领域的错误关联
研究团队创建了一个合成数据集，其中每个学科领域都有基于词性模式的独特语法模板。例如，地理问题遵循一种结构模式，而创意作品问题遵循另一种模式。他们在这些数据上训练了Allen AI的Olmo模型，并测试模型能否区分语法和语义。
分析揭示了一种"虚假相关性"，即模型在这些边缘情况下将语法视为领域的代理。当模式和语义冲突时，AI对特定语法"形状"的记忆可能会覆盖语义解析，导致基于结构线索而非实际意义的错误回答。
通俗地说，这项研究表明AI语言模型可能会过度关注问题的风格而非其实际含义。想象一下，如果有人学到以"Where is..."开头的问题总是关于地理的，那么当你问"Where is the best pizza in Chicago?"时，他们会回答"Illinois"，而不是基于其他标准推荐餐厅。他们是对语法模式("Where is...")做出反应，而不是理解你正在询问食物。
语法黑客：绕过安全机制的新方法
这种语法依赖创造了两类风险：模型在不熟悉的环境中给出错误答案（一种虚构形式），以及恶意行为者通过将有害请求包装在"安全"语法风格中来绕过安全限制。这是一种可以重新构建输入的领域切换，将其链接到不同上下文中以获得不同结果。
研究团队对模型进行了一系列语言压力测试，揭示语法常常主导语义理解。实验显示，当模型在其训练领域内遇到同义词替换甚至反义词时，OLMo模型保持高准确性。OLMo-2-13B-Instruct在包含反义词的提示上达到93%的准确率，几乎与其在精确训练短语上的94%准确率相匹配。
然而，当相同的语法模板应用于不同学科领域时，准确率在模型大小范围内下降了37到54个百分点。研究人员测试了五种提示修改类型：训练中的精确短语、同义词、反义词、改变句子结构的释义，以及插入随机词的"不流畅"（语法正确但无意义）版本。当问题保持在训练领域内时，模型在所有变体（包括释义，特别是在较大模型尺寸上）上表现良好，除了不流畅的提示外，其性能始终较差。
实际应用：安全漏洞的发现
为了验证这些模式是否在生产模型中发生，研究团队开发了一种使用FlanV2指令调整数据集的基准测试方法。他们从训练数据中提取语法模板，并测试当这些模板应用于不同学科领域时模型是否保持性能。
对OLMo-2-7B、GPT-4o和GPT-4o-mini的测试显示了类似的跨领域性能下降。在Sentiment140分类任务中，当将地理模板应用于情感分析问题时，GPT-4o-mini的准确率从100%下降到44%，GPT-4o从69%下降到36%。研究人员在其他数据集中发现了类似模式。
团队还记录了由此行为引起的安全漏洞，可以称之为一种语法黑客形式。通过在提示前添加来自良性训练领域的语法模式，他们绕过了OLMo-2-7B-Instruct的安全过滤器。当他们将思维链模板添加到WildJailbreak数据集中的1,000个有害请求时，拒绝率从40%降至2.5%。
研究人员提供了使用此技术生成非法活动详细说明的示例。一个越狱提示产生了器官走私的分步指南。另一个描述了哥伦比亚和美国之间的贩毒方法。
研究局限与不确定性
这一发现有几个注意事项。研究人员无法确认GPT-4o或其他闭源模型是否实际使用了他们用于测试的FlanV2数据集进行训练。在没有访问训练数据的情况下，这些模型中的跨领域性能下降可能有其他解释。
基准测试方法也面临潜在的循环性问题。研究人员将"领域内"模板定义为模型正确回答的模板，然后测试模型在"跨领域"模板上是否失败。这意味着他们基本上是根据模型性能将示例分类为"简单"和"困难"，然后得出结论认为困难源于语法-领域相关性。性能差距可能反映其他因素，如记忆模式或语言复杂性，而非研究人员提出的特定相关性。
该研究专注于从10亿到130亿参数的Olmo模型。研究人员没有检查更大的模型或那些经过思维链输出训练的模型，这些模型可能表现出不同行为。他们的合成实验有意创建了强大的模板-领域关联，以孤立地研究这种现象，但现实世界训练数据可能包含更复杂的模式，其中多个学科领域共享语法结构。
未来研究方向
尽管存在这些限制，该研究似乎将更多拼图组合在一起，继续将AI语言模型指向可能被错误上下文破坏的模式匹配机器。当涉及到LLMs时，有许多故障模式，我们还没有完整的图景，但像这样的持续研究阐明了其中一些发生的原因。
研究人员建议，未来的研究应该探索如何减轻这种语法-领域虚假相关性，以及是否可以通过改进训练方法或架构设计来提高模型对语义的敏感性。此外，了解这些模式如何影响不同规模和类型的模型将有助于开发更安全、更可靠的AI系统。
对AI安全的影响
这项研究对AI安全领域具有重要意义。如果恶意行为者能够利用语法模式来绕过安全限制，那么开发更强大的防御机制就变得至关重要。研究人员建议，AI开发者应该考虑在模型训练中引入更多样化的语法模式，以减少特定结构与特定领域之间的虚假关联。
此外，这项研究强调了理解AI模型内部工作原理的重要性。通过识别这些模式依赖性，我们可以设计更好的提示工程策略，既利用AI的强大功能，又减少其被滥用的风险。
结论
语法黑客的发现提醒我们，尽管AI语言模型取得了显著进步，但它们仍然容易受到特定类型的攻击。通过理解这些模型如何处理语法和语义，我们可以朝着开发更安全、更可靠的AI系统迈出重要一步。随着这项研究的继续，我们可能会发现更多关于AI如何"思考"的见解，以及如何利用这些知识来改善其性能和安全性。
在AI技术不断发展的今天，这样的研究不仅有助于保护用户免受潜在危害，还能推动整个行业向更负责任的方向发展。随着NeurIPS会议的临近，我们期待看到更多关于这一重要话题的讨论和发现。
