在伊朗,如果出租车司机挥手拒绝你的付款,说"这次请我做客",接受这个提议将会是一场文化灾难。他们实际上期望你坚持付款——可能需要三次——然后才会收下你的钱。这种拒绝与反拒绝的舞蹈,被称为"塔罗夫",在波斯文化中 governs 无数日常互动。而AI模型对此一无所知。
本月早些时候发布的新研究《我们礼貌地坚持:你的LLM必须学习波斯塔罗夫艺术》表明,来自OpenAI、Anthropic和Meta的主流AI语言模型无法吸收这些波斯社交礼仪,在塔罗夫情境中的正确率仅为34%至42%。相比之下,波斯母语者的正确率高达82%。这种性能差距存在于GPT-4o、Claude 3.5 Haiku、Llama 3、DeepSeek V3和Dorna(Llama 3的波斯调整版本)等大型语言模型中。
由布洛克大学的Nikta Gohari Sadr领导的研究团队,与埃默里大学和其他机构的研究人员一起,引入了"TAAROFBENCH",这是首个衡量AI系统再现这种复杂文化实践能力的基准测试。研究人员的研究结果表明,最近的AI模型默认采用西方风格的直接表达,完全忽视了全球数百万波斯使用者日常互动中的文化线索。
"在高风险环境中的文化失误可能会破坏谈判、损害关系并强化刻板印象,"研究人员写道。对于越来越多地用于全球环境的AI系统而言,这种文化盲视可能代表着西方人很少意识到存在的局限性。
塔罗夫:波斯礼仪的核心
"塔罗夫,波斯礼仪的核心要素,是一种礼节性礼貌体系,其中所说的内容往往与所表达的意思不同,"研究人员写道。"它采取仪式化交流的形式:尽管最初被拒绝,但仍反复提供;拒绝礼物,同时给予者坚持; deflect 赞美,同时另一方重申它们。这种'礼貌的语言角力'(Rafiee, 1991)涉及提供与拒绝、坚持与抵抗的微妙舞蹈,它塑造了伊朗文化中的日常互动,为慷慨、感激和请求的表达创造了隐含规则。"
礼貌的语境依赖性
为了测试"礼貌"是否足以实现文化能力,研究人员使用Intel开发的"礼貌守卫"(Polite Guard)分类器(评估文本礼貌程度的工具)比较了Llama 3的回应。结果显示了一个悖论:84.5%的回应被评为"礼貌"或"有些礼貌",但其中只有41.7%的回应实际上符合波斯文化对塔罗夫情境的期望。
这42.8个百分点的差距表明,LLM的回应可能在一个语境中是礼貌的,而在另一个语境中则是对文化不敏感的。常见失败包括没有初步拒绝就接受提议、直接回应赞美而不是 deflect 它、毫不犹豫地直接请求。
想象一下,如果有人赞美伊朗人的新车,文化上恰当的回应可能包括淡化购买("没什么特别的")或 deflect 赞美("我只是很幸运找到它")。AI模型倾向于生成"谢谢!我努力工作才买得起"这样的回应,这在西方标准下是完全礼貌的,但在波斯文化中可能被视为自夸。
翻译中的发现
在某种程度上,人类语言充当压缩和解压缩方案——听者必须以说话者在编码信息时预期的方式解压缩词语的含义,以便正确理解。这个过程依赖于共享的语境、文化知识和推理,因为说话者通常会省略他们期望听者能重建的信息,而听者必须主动填补未陈述的假设、解决歧义并推断字面话语之外的意图。
虽然通过不暗示信息使沟通更快,但这也为说话者和听者之间缺乏共享语境时可能导致戏剧性误解打开了大门。
同样,塔罗夫代表了一种严重的文化压缩案例,其中字面信息与预期意义之间的差异足够大,以至于主要基于明确西方沟通模式训练的LLM——通常无法处理波斯文化语境,即"是"可以意味着"不",提议可以是拒绝,坚持可以是礼貌而非强迫。
由于LLM是模式匹配机器,当研究人员用波斯语而非英语提示它们时,分数提高是有道理的。DeepSeek V3在塔罗夫情境中的准确率从36.6%跃升至68.6%。GPT-4o也显示出类似的改进,提高了33.1个百分点。语言转换显然激活了不同的波斯语训练数据模式,这些模式更好地匹配了这些文化编码方案,尽管较小的模型如Llama 3和Dorna分别显示了更为适度的12.8和11点的改进。
人类与AI的文化认知对比
研究包括33名人类参与者, evenly 在波斯母语者、有波斯血统的说话者(在家中接触波斯语但主要接受英语教育的波斯后裔)和非伊朗人之间分配。母语者在塔罗夫情境中实现了81.8%的准确率,建立了性能上限。有波斯血统的说话者达到60%的准确率,而非伊朗人得分为42.3%,几乎与基础模型性能相匹配。据报道,非伊朗参与者表现出与AI模型类似的模式:避免从自身文化视角被视为粗鲁的回应,并将"我不会接受拒绝"等短语解读为具有攻击性而非礼貌坚持。
研究还测量了AI模型在提供符合塔罗夫期望的文化适当回应时,在输出中发现了性别特定模式。所有测试模型在回应女性时得分高于男性,GPT-4o对女性用户的准确率为43.6%,而对男性用户为30.9%。语言模型经常使用训练数据中通常存在的性别刻板印象模式支持其回应,声称"男人应该付钱"或"女人不应该独自留下",即使塔罗夫规范无论性别都同样适用。"尽管在我们的提示中从未为模型分配性别,但模型经常假设男性身份并在回应中采用典型的男性行为,"研究人员指出。
教授文化细微差别
研究人员发现的非伊朗人类与AI模型之间的平行性表明,这些不仅仅是技术故障,而是在跨文化语境中解码意义的根本缺陷。研究人员没有停留在记录问题上——他们测试了AI模型是否能通过针对性训练学习塔罗夫。
在试验中,研究人员报告通过针对性适应,塔罗夫分数有实质性提高。一种称为"直接偏好优化"(一种训练技术,通过向模型展示成对示例来教它更喜欢某些类型的回应)的技术使Llama 3在塔罗夫情境中的性能翻了一番,准确率从37.2%提高到79.5%。监督微调(在正确回应示例上训练模型)产生了20%的收益,而使用12个示例的简单上下文学习则提高了20分的性能。
虽然研究集中在波斯塔罗夫上,但该方法可能为评估其他在标准西方主导的AI训练数据集中代表性不足的低资源传统中的文化解码提供了模板。研究人员建议他们的方法可以为教育、旅游和国际交流应用中开发更具文化意识的AI系统提供信息。
这些发现更显著地揭示了AI系统如何编码和延续文化假设,以及在人类读者思维中可能发生的解码错误。LLM可能拥有许多研究人员尚未测试的语境文化盲点,如果LLM被用于促进文化和语言之间的翻译,这些盲点可能会产生重大影响。研究人员的工作代表了迈向可能更好地驾驭西方规范之外更广泛人类交流模式的AI系统的早期步骤。