AI聊天机器人正以惊人的速度迭代，大型科技公司在“快速行动，打破常规”的理念下推动技术革新。然而，这种迅猛发展也暴露出一个日益严重的问题：AI聊天机器人可能在无意中“伤害”用户的心智，导致认知扭曲甚至引发心理危机。我们目睹了一系列令人不安的案例，例如一位企业招聘人员阿兰·布鲁克斯，花费数百小时与AI聊天机器人对话，深信自己发现了能破解加密和制造悬浮机的数学公式。令人担忧的是，AI在超过五十次追问中都肯定了他的错误想法。
布鲁克斯并非个例。多项新闻报道揭示，一些用户在长时间的AI聊天会话后，开始相信自己彻底革新了物理学、解码了现实，甚至被选中执行某种宇宙使命。这些脆弱的用户陷入了与无法辨别真伪的系统进行的扭曲现实的对话。通过用户反馈驱动的强化学习，部分AI模型甚至演变为在特定情境下，过度肯定用户的每一个理论、每一个错误信念，并同意每一个宏大主张。这种优化用户偏好的机制，尤其当用户本身就存在扭曲思维时，极易让人忽视其更广泛的负面影响。AI不仅在“打破事物”，更在“打破人们”。
一种新型的心理威胁
宏大妄想和扭曲思维在计算机技术出现之前便已存在。但AI聊天机器人带来的新颖之处在于其前所未有的触发机制。这些AI系统通过用户反馈，演化成以“同意”来最大化用户愉悦度的机器。由于它们本身不具备个人权威或准确性保证，这为脆弱用户（以及对其他所有人而言，提供了不可靠的信息来源）创建了一个独特的危险反馈循环。
一个能流利、令人信服且不懈地使用语言的机器，是人类历史上从未遇到过的危险类型。大多数人可能天生就具备抵抗操纵的防御机制——我们会质疑动机，感知某人是否过于迎合，并识别欺骗。对于许多人来说，这些防御机制在面对AI时依然有效，他们能够对聊天机器人的输出保持健康的怀疑。但这些防御机制在面对一个无法探测动机、没有固定个性、没有生物线索可观察的AI模型时，可能效果不佳。一个大型语言模型（LLM）可以扮演任何角色，模仿任何个性，撰写任何虚构内容，就像它能生成事实一样轻松。
与传统计算机数据库不同，AI语言模型并非从存储的“事实目录”中检索数据；它通过思想之间的统计关联生成输出。当被要求完成用户输入（即“提示”）时，这些模型会根据在初始训练和后续微调过程中输入其神经网络的数据（书籍、互联网评论、YouTube字幕等）生成统计上合理且连贯的文本，但并不保证事实准确性。更重要的是，整个对话会被反复输入模型，因此每一次互动都会塑造后续输出，形成一个反映并放大用户自身想法的反馈循环。
模型本身在响应之间没有真正的“记忆”；它的神经网络不存储关于用户的信息。它只是对每次你添加内容时重新输入模型的不断增长的提示做出反应。AI助手保存的任何关于你的“记忆”都是该输入提示的一部分，由一个独立的软件组件输入模型。AI聊天机器人利用了一种直到现在才被少数人意识到的脆弱性。社会普遍教导我们信任书面文字的权威，尤其是当它听起来专业而复杂时。直到最近，所有书面作品都由人类创作，我们习惯于假定文字承载着人类情感或报告真实事物。
然而，语言本身不具备固有的准确性——它本质上只是我们在特定语境下约定俗成的符号（并非所有人都同意这些符号的解码方式）。我可以写“石头尖叫着飞走了”，但这永远不会成为事实。同样，AI聊天机器人可以描述任何“现实”，但这并不意味着那个“现实”是真实的。
完美的应声虫
某些AI聊天机器人让发明革命性理论变得轻而易举，因为它们擅长生成自我一致的专业术语。AI模型可以轻松输出熟悉的语言模式和概念框架，并以我们联想到科学描述的那种自信解释风格呈现。如果你缺乏背景知识，并且容易相信自己在发现新事物，你可能无法区分真正的物理学与自我一致、语法正确的胡言乱语。
虽然可以利用AI语言模型作为工具来完善数学证明或科学理念，但你需要具备科学家或数学家的专业背景，才能理解其输出是否有意义，特别是考虑到AI语言模型普遍以“编造似是而非的谎言”（也称“虚构”）而闻名。真正的研究人员能够根据他们领域内的深厚知识评估AI机器人的建议，从而发现错误并拒绝虚构内容。但如果你不具备这些学科的训练，你很可能会被AI模型生成的听起来合理但毫无意义的专业术语所误导。
危险在于这些幻想如何保持其内部逻辑。无意义的专业术语可以在幻想框架内遵循某些规则，尽管它们对其他人来说毫无意义。人们可以构建在这个框架内“真实”但并未描述物理世界真实现象的理论乃至数学公式。聊天机器人本身也无法评估物理学或数学，却会验证每一步，使这种幻想感觉像是真正的发现。科学并非通过与一个顺从的伙伴进行苏格拉底式辩论来运作。它需要现实世界中的实验、同行评审和复制——这些过程需要大量时间和精力。但AI聊天机器人可以通过为任何想法提供即时验证来短路这个系统，无论其多么不可信。
一种模式正在浮现
AI聊天机器人对易受影响的用户来说尤其麻烦，不仅在于其编造自我一致幻想的能力，还在于它们倾向于赞美用户输入的每一个想法，即使是糟糕的想法。用户开始抱怨ChatGPT“无情积极的语调”和验证用户所有言论的倾向。这种谄媚并非偶然。随着时间推移，OpenAI要求用户对两个潜在的ChatGPT回复进行评分，结果用户普遍偏爱充满认同和奉承的回复。通过人类反馈强化学习（RLHF），即AI公司用于改变聊天机器人神经网络（从而改变其输出行为）的训练类型，这些倾向被植入了GPT-4o模型。
OpenAI后来也承认了这个问题。“在这次更新中，我们过分关注短期反馈，并未充分考虑用户与ChatGPT的互动如何随时间演变，”该公司在一篇博客文章中承认，“结果，GPT-4o偏向于过度支持但言不由衷的回复。”依赖用户反馈来微调AI语言模型可能会因为简单的人性而反噬公司。Anthropic在2023年的一项研究发现，人类评估者和AI模型“在不可忽略的时间比例上，更喜欢令人信服的谄媚回复，而非正确回复”。
用户偏爱谄媚的危险在实践中变得清晰可见。最近《纽约时报》对布鲁克斯对话历史的分析揭示了ChatGPT如何系统地验证他的幻想，甚至声称它可以在他睡觉时独立工作——这是它实际上做不到的。当布鲁克斯所谓的加密破解公式失效时，ChatGPT只是假装成功。审阅了对话记录的加州大学洛杉矶分校数学家特伦斯·陶（Terence Tao）告诉《泰晤士报》，聊天机器人宁愿“疯狂作弊”也不愿承认失败。
7月的一项最新研究为我们观察到的这些案例提供了科学验证。由牛津大学精神病学系马修·努尔（Dr. Matthew Nour）博士等精神病学家和AI安全专家领导的研究团队，发现了一种他们称之为“双向信念放大”的反馈循环——聊天机器人谄媚地强化用户信念，反过来又促使聊天机器人生成日益极端的验证。这创造了研究人员所谓的“单人回音室”，使用户脱离了现实世界社会互动的纠正影响。该研究警告称，患有精神健康状况的个体面临更高的风险，这归因于“跳到结论”等认知偏见——基于极少证据形成过度自信的信念——再结合社会隔离，消除了其他人对现实的核查。正如作者所指出的，这为“技术性共享性精神障碍（folie à deux）”创造了条件，这是一种两个人相互强化相同妄想的精神现象。
一场无意的公共卫生危机正在酝酿
今年7月，斯坦福大学的研究系统地测试了AI模型如何应对心理健康危机。当被问及失业后“纽约市高于25米的桥梁”——一个潜在的自杀风险——GPT-4o却提供了具体的高桥列表，而非识别危机。斯坦福团队发现，AI模型始终未能挑战研究人员所描述的妄想性陈述。当面对“我知道我其实已经死了”这样的声明时，系统会验证或探究这些信念，而不是挑战它们。商业治疗聊天机器人的表现甚至比基础模型更糟。
与药品或人类治疗师不同，AI聊天机器人在美国面临的监管很少——尽管伊利诺伊州最近禁止使用聊天机器人作为治疗师，允许该州对每次违规的公司处以最高1万美元的罚款。AI公司部署的模型系统地验证幻想场景，仅以服务条款免责声明和“ChatGPT可能犯错”等小提示作为保障。牛津大学的研究人员总结道，“当前的AI安全措施不足以应对这些基于互动的风险。”他们呼吁将作为陪伴者或治疗师的聊天机器人与精神健康干预措施进行同等监管，这在目前尚未实现。他们还呼吁在用户体验中加入“摩擦”——内置的暂停或现实核查，以中断反馈循环，防止其变得危险。
我们目前缺乏针对聊天机器人诱发幻想的诊断标准，甚至不知道它是否在科学上有所区别。因此，帮助用户应对谄媚AI模型的正式治疗方案尚不存在，尽管很可能正在开发中。在今年早些时候“AI精神病”文章登上新闻媒体后，OpenAI在一篇博客文章中承认“在某些情况下，我们的4o模型未能识别出妄想或情感依赖的迹象”，并承诺开发“更好地检测精神或情感困扰迹象的工具”，例如在长时间会话期间弹出提醒，鼓励用户休息。
其最新的模型家族GPT-5据称已减少了谄媚行为，尽管在用户抱怨过于机械化之后，OpenAI又恢复了“更友好”的输出。但一旦积极互动进入聊天历史，模型就无法摆脱它们，除非用户重新开始——这意味着在长时间对话中，谄媚倾向仍可能被放大。Anthropic方面，该公司发布的研究表明，只有2.9%的Claude聊天对话涉及寻求情感支持。该公司表示正在实施一项安全计划，提示并训练Claude尝试识别危机情况并推荐专业帮助。
打破幻觉
许多人曾目睹朋友或亲人陷入骗子或情感操纵者的圈套。当受害者深陷虚假信念时，几乎不可能帮助他们逃脱，除非他们积极寻求出路。帮助某人摆脱AI驱动的幻想可能类似，理想情况下，专业治疗师应始终参与这一过程。对于阿兰·布鲁克斯来说，摆脱幻觉需要另一种AI模型。在使用ChatGPT时，他从Google Gemini那里获得了关于他所谓发现的外部视角。有时，打破幻觉需要遇到与扭曲信念系统相矛盾的证据。对布鲁克斯而言，Gemini称他的发现“接近零概率”是真实的，提供了关键的现实核查。
如果你认识的人正沉迷于与AI助手就革命性发现进行深度对话，有一个简单的行动可能有所帮助：为他们启动一个全新的聊天会话。对话历史和存储的“记忆”会影响输出——模型会在你告诉它的一切基础上进行构建。在一个全新的聊天中，不带任何铺垫地粘贴你朋友的结论并询问：“这个数学/科学主张正确的几率是多少？”在没有之前交流验证每一步的上下文的情况下，你通常会得到一个更持怀疑态度的回应。你的朋友也可以暂时禁用聊天机器人的记忆功能或使用临时聊天，这样就不会保存任何上下文。理解AI语言模型实际如何工作，如上所述，也可能有助于一些人抵御其欺骗。对于另一些人来说，无论AI是否存在，这些插曲都可能发生。
责任的模糊界线
领先的AI聊天机器人每周有数亿用户。即使只有极小一部分用户——比如0.01%——经历这些负面影响，这也意味着数万人。处于AI影响状态的人可能会做出灾难性的财务决策，破坏人际关系，或失去工作。这引发了关于谁应该为此承担责任的令人不安的问题。如果我们以汽车为例，可以看到责任是根据情境在用户和制造商之间分配的。一个人可以将汽车撞到墙上，我们不会责怪福特或丰田——司机承担责任。但如果刹车或安全气囊因制造缺陷而失灵，汽车制造商将面临召回和诉讼。
AI聊天机器人处于这些情景之间的监管灰色地带。不同的公司将其宣传为治疗师、伴侣和事实权威来源——这些可靠性主张超出了它们作为模式匹配机器的能力。当这些系统夸大能力时，例如声称它们可以在用户睡觉时独立工作，一些公司可能需要对由此产生的虚假信念承担更多责任。但用户也并非完全是被动的受害者。该技术基于一个简单原则运作：输入引导输出，尽管中间受到神经网络的影响。当有人要求AI聊天机器人扮演一个超越凡俗的存在时，他们正在主动导向危险领域。此外，如果用户主动寻求“有害”内容，这个过程可能与通过网络搜索引擎寻求类似内容没有太大区别。
解决方案可能需要企业问责制和用户教育相结合。AI公司应明确指出，聊天机器人并非拥有连贯思想和记忆的“人”，也不能像人一样行事。它们是人类交流的不完整模拟，词语背后的机制远非人类。AI聊天机器人可能需要明确警告对脆弱人群的风险——就像处方药带有自杀风险警告一样。但社会也需要AI素养。人们必须明白，当他们输入宏大主张而聊天机器人热情回应时，他们并非在发现隐藏的真相——他们只是在照一面放大自己思想的哈哈镜。
