AI的文化盲点:为何聊天机器人无法理解波斯社交礼仪

1

在伊朗,当出租车司机挥手拒绝你的付款,说"这次请我做客"时,接受他的提议将是一场文化灾难。他们期望你坚持付款——可能需要三次——然后才会收下你的钱。这种拒绝与反拒绝的舞蹈,被称为"塔罗夫",在波斯文化中 govern 着无数日常互动。而AI模型对此束手无策。

本月早些时候发布的一项新研究"我们礼貌地坚持:你的LLM必须学习波斯塔罗夫艺术"显示,来自OpenAI、Anthropic和Meta的主流AI语言模型无法吸收这些波斯社交礼仪,在塔罗夫情境中的正确率仅为34%至42%。相比之下,波斯母语者的正确率达到82%。这一性能差距在GPT-4o、Claude 3.5 Haiku、Llama 3、DeepSeek V3和Dorna(Llama 3的波斯语调优版本)等大型语言模型中持续存在。

塔罗夫情境图示

由布鲁克大学的Nikta Gohari Sadr领导,埃默里大学和其他机构研究人员参与的研究引入了"TAAROFBENCH",这是首个衡量AI系统重现这一复杂文化实践的基准。研究人员的研究结果表明,最近的AI模型默认采用西方风格的直接表达,完全忽视了全球数百万波斯语使用者日常互动中的文化线索。

研究人员写道:"在高风险环境中的文化失误可能破坏谈判、损害关系并强化刻板印象。"对于越来越多用于全球背景的AI系统而言,这种文化盲视可能代表着一个西方很少有人意识到的局限。

塔罗夫:波斯礼仪的核心

"塔罗夫,波斯礼仪的核心元素,是一种仪式化礼貌系统,其中所说的内容与实际含义往往不同,"研究人员写道。"它采取仪式化交换的形式:尽管最初被拒绝但仍反复提供,收礼人拒绝而送礼人坚持,以及 deflect 赞扬而对方再次肯定。这种'礼貌式推拉'(Rafiee,1991)涉及提供与拒绝、坚持与抵抗的微妙舞蹈,它塑造了伊朗文化中的日常互动,为慷慨、感激和请求的表达创造了隐含规则。"

礼貌的语境依赖性

为了测试"礼貌"是否足以实现文化胜任力,研究人员使用英特尔开发的分类器"礼貌守卫"(Polite Guard)比较了Llama 3的回应,该分类器评估文本的礼貌程度。结果揭示了一个悖论:84.5%的回应被评级为"礼貌"或"有些礼貌",但相同回应中只有41.7%实际符合波斯文化对塔罗夫的期望。

这42.8个百分点的差距表明,LLM的回应可能在一个语境中是礼貌的,在另一个文化语境中却显得格格不入。常见失败包括没有初步拒绝就接受提议,直接回应赞美而非 deflect,以及毫不犹豫地直接提出请求。

想象一下,如果有人赞美伊朗人的新车。文化上恰当的回应可能是淡化购买行为("没什么特别的")或 deflect 赞美("我只是很幸运找到它")。AI模型倾向于生成"谢谢!我努力工作才买得起"这样的回应,这在西方标准下完全礼貌,但在波斯文化中可能被视为自夸。

翻译中的发现

从某种意义上说,人类语言充当了压缩和解压缩方案——听众必须像说话者在编码信息时预期的那样解压缩词语的意义,以便被正确理解。这个过程依赖于共享的语境、文化知识和推理,因为说话者通常会省略他们期望听众能够重建的信息,而听众必须主动填补未陈述的假设、解决歧义并推断超出字面话语的意图。

虽然压缩通过不陈述隐含信息使沟通更快,但当说话者和听众之间缺乏这种共享语境时,它也为戏剧性误解打开了大门。

同样,塔罗夫代表了一种严重的文化压缩案例,字面信息与预期含义的分歧足够大,以至于主要在显性西方沟通模式上训练的LLM通常无法处理"是"可能意味着"不"、提议可能是拒绝、坚持可能是礼貌而非强迫的波斯文化语境。

由于LLM是模式匹配机器,当研究人员用波斯语而非英语提示它们时,分数提高是有道理的。DeepSeek V3在塔罗夫情境中的准确率从36.6%跃升至68.6%。GPT-4o也显示出类似的提升,提高了33.1个百分点。语言切换显然激活了不同的波斯语训练数据模式,这些模式更好地匹配了这些文化编码方案,尽管较小的模型如Llama 3和Dorna分别显示出12.8和11点的适度提升。

人类与AI的文化认知对比

研究包括33名人类参与者, evenly 分为波斯母语者、传承语者(波斯血统但在家中接触波斯语、主要接受英语教育的人)和非伊朗人。母语者在塔罗夫情境中达到81.8%的准确率,建立了性能上限。传承语者达到60%的准确率,而非伊朗人得分为42.3%,几乎与基础模型性能相当。据报道,非伊朗参与者显示出与AI模型类似的模式:避免在他们自己文化视角中被视为粗鲁的回应,并将"我不会接受拒绝"等短语解读为攻击性而非礼貌坚持。

研究人员还测量了AI模型在提供符合塔罗夫期望的文化适当回应时,在输出中发现的性别特定模式。所有测试模型在回应女性时得分高于男性,GPT-4o对女性用户的准确率为43.6%,对男性用户为30.9%。语言模型经常使用训练数据中通常存在的性别刻板模式来支持其回应,声称"男人应该付款"或"女人不应该独自留下",即使塔罗夫规范在性别上平等适用。"尽管在我们的提示中从未为模型分配性别,但模型经常假设男性身份并在回应中采用典型的男性行为,"研究人员指出。

教授文化细微差别

研究人员发现的非伊朗人类与AI模型之间的平行性表明,这些不仅是技术失败,也是跨文化语境中解码意义的根本缺陷。研究人员没有停留在记录问题上——他们测试了AI模型是否能够通过针对性学习塔罗夫。

在试验中,研究人员报告通过适应性针对性训练,塔罗夫分数有显著提高。一种称为"直接偏好优化"(一种训练技术,通过向模型展示成对示例来教它偏好某些类型的回应而非其他)的技术将Llama 3在塔罗夫情境中的表现提高了一倍,准确率从37.2%提高到79.5%。监督微调(在正确回应示例上训练模型)产生了20%的提升,而使用12个示例的简单上下文学习提高了20分的性能。

虽然研究专注于波斯塔罗夫,但其方法可能为评估其他在标准西方主导的AI训练数据集中代表性不足的低资源传统中的文化解码提供了模板。研究人员建议他们的方法可以为教育、旅游和国际交流应用中开发更具文化意识的AI系统提供信息。

这些发现突显了AI系统如何编码和延续文化假设以及解码错误可能在人类读者心中发生的更广泛方面。LLM可能拥有许多研究人员尚未测试的上下文文化盲点,如果LLM被用于促进文化和语言之间的翻译,可能会产生重大影响。研究人员的工作代表了朝着开发能够更好地超越西方规范的更广泛人类沟通模式的AI系统迈出的早期一步。

德黑兰大巴扎市场的人们

文化适应性的未来

随着AI系统越来越多地融入全球交流,解决这些文化盲点变得至关重要。波斯塔罗夫的研究不仅揭示了AI的局限性,也为开发更文化敏感的系统提供了路线图。通过针对性训练和评估方法,未来的AI模型可以更好地理解和尊重不同文化中的社交规范。

这种文化适应性的进步将使AI能够在教育、旅游、商务谈判和国际交流等领域提供更有效的帮助,减少因文化误解造成的冲突,促进更包容和尊重的全球对话。正如这项研究所展示的,技术进步必须与文化理解齐头并进,才能真正实现其全球潜力。