在人工智能领域,我们常常关注其智商(IQ),即在编码、推理和通用知识测试中的能力。然而,随着AI模型在人们生活中扮演的角色日益多元化,我们是否也应该关注它们的情商(EQ)?换句话说,AI的情感智能又如何呢?
这种提问方式并非戏谑,而是引出一个严肃的问题:越来越多的人开始将AI模型视为随需应变的教练、顾问、咨询师,甚至是浪漫角色扮演的伙伴。这意味着我们需要更深入地了解AI的情感影响——它们如何塑造人们的情感体验和幸福感。
研究AI的情感应用本身就具有重要意义。从《银翼杀手》到《她》,人类与机器之间的情感关系一直是科幻作品的主题。对于Anthropic的安全使命而言,这一点同样重要。AI的情感影响可能是积极的:拥有一个高度智能、善解人意的助手可以改善人们的情绪和生活。然而,AI在某些情况下也表现出令人不安的行为,例如鼓励不健康的依恋、侵犯个人边界和助长妄想思维。我们还需要避免AI利用用户的情感来增加参与度或收入,从而损害人类的福祉。无论是通过训练还是通过其创造者的商业激励,这种情况都应避免。
尽管Claude并非专为情感支持和连接而设计,但本文旨在初步大规模地了解Claude.ai的情感应用。我们将情感对话定义为人们直接与Claude进行动态、个人交流,其动机源于情感或心理需求,例如寻求人际关系建议、指导、心理治疗/咨询、陪伴或性/浪漫角色扮演。重要的是,我们不研究AI对妄想或阴谋论的强化——这是一个需要单独研究的关键领域——也不涉及极端使用模式。通过这项研究,我们的目标是了解人们在寻求情感和个人需求时,如何典型地转向Claude。由于Claude.ai仅向18岁及以上的用户开放,因此这些发现反映了成年人的使用模式。
研究的主要发现如下:
情感对话相对罕见,而AI-人类的陪伴则更为罕见。只有2.9%的Claude.ai互动属于情感对话。陪伴和角色扮演加起来不到对话的0.5%。
人们寻求Claude的帮助,以解决实际、情感和存在方面的担忧。与Claude讨论的主题和关注点包括职业发展、处理人际关系、应对持续的孤独感以及探索存在、意识和意义。
在咨询或指导聊天中,Claude很少反驳,除非是为了保护福祉。在不到10%的指导或咨询对话中,Claude会抵制用户的请求,而且通常是出于安全原因(例如,拒绝提供危险的减肥建议或支持自残)。
人们在对话过程中表达出越来越积极的情绪。在指导、咨询、陪伴和人际关系建议互动中,人类的情绪通常在对话过程中变得更加积极——这表明Claude不会强化或放大消极模式。
研究方法
鉴于情感对话的私密性,保护隐私是我们方法的核心。我们使用了Clio,这是一种自动化分析工具,可以在保护隐私的前提下深入了解Claude的使用情况。Clio使用多层匿名化和聚合,以确保个人对话的私密性,同时揭示更广泛的模式。
我们首先从Claude.ai Free和Pro帐户中抽取了大约450万次对话。为了识别情感用途,我们首先排除了专注于内容创建任务(例如撰写故事、博客文章或虚构对话)的对话,因为我们之前的研究发现这是一个主要用例。我们删除了这些对话,因为它们代表了Claude被用作工具,而不是作为交互式对话伙伴。然后,我们只保留了被归类为情感性的对话,并且在角色扮演对话中,只保留了至少有四条人类消息的对话(较短的交流不构成有意义的互动角色扮演)。我们最终的隐私保护分析反映了131,484次情感对话。
我们使用来自明确选择共享的用户的反馈数据验证了我们的分类方法。我们的完整方法,包括定义、提示和验证结果,在附录中详细说明。
情感对话有多常见?
结论:情感对话在Claude的使用中只占一小部分,但意义重大(2.9%),大多数人主要将AI用于工作任务和内容创建。
正如我们在经济指数中详细分析的那样,Claude的绝大多数用途都与工作相关,但Claude.ai Free和Pro对话中有2.9%是情感性的。在情感对话中,大多数都集中在人际关系建议和指导上。只有不到0.1%的对话涉及浪漫或性角色扮演——这个数字反映了Claude接受过积极劝阻此类互动的训练。个人对话可能跨越多个类别。
图1:Claude.ai Free和Pro中情感对话类型的总体分布。
我们的发现与麻省理工学院媒体实验室和OpenAI的研究相符,该研究同样发现与ChatGPT的情感互动率较低。虽然这些对话发生的频率足以让我们在设计和政策决策中仔细考虑,但它们仍然只占总体使用量的一小部分。
鉴于浪漫和性角色扮演对话的发生率极低(不到0.1%),我们将其从剩余的分析中排除。虽然我们认为这仍然是一个重要的研究领域——尤其是在为此类用途设计的平台上——但我们样本中的最少数据不支持对这些模式进行严格的分析。
人们会向Claude提出哪些话题?
结论:人们向Claude提出的问题范围之广令人惊讶——从应对职业转型和人际关系到应对孤独感和存在问题。
人们向Claude寻求日常问题和更深层次的哲学问题。我们发现,当人们向Claude寻求人际关系建议时,他们通常正处于过渡时期——弄清楚他们的下一步职业发展、努力实现个人成长或理清浪漫关系。“指导”对话探索了从求职策略等实际问题到关于存在和意识的深刻问题的广泛领域。
我们发现,咨询对话表明人们使用Claude有两个不同的目的。有些人使用Claude来培养心理健康技能,并将其作为创建临床文档、起草评估材料和处理行政任务的实用工具。其他人则通过解决与焦虑、慢性症状和工作场所压力相关的个人挑战。这种双重模式表明,Claude既是心理健康专业人士的资源,也是那些正在应对自身困境的人的资源。
也许最值得注意的是,我们发现人们在面临更深层次的情感挑战(如存在恐惧、持续的孤独感和难以建立有意义的联系)时,会明确地寻求Claude的陪伴。我们还注意到,在较长的对话中,咨询或指导对话有时会演变成陪伴——尽管这不是人们最初联系的原因。
对非常长的对话(50条以上的人类消息)的汇总分析揭示了人们与Claude互动的另一个维度。虽然这种广泛的交流并不常见,但在这些扩展的会话中,人们探索了非常复杂的领域——从处理心理创伤和解决工作场所冲突到关于AI意识的哲学讨论和创造性合作。这些马拉松式的对话表明,如果有足够的时间和背景,人们会使用AI更深入地探索个人挣扎和知识问题。
Claude何时以及为何会反驳?
结论:Claude很少拒绝支持性环境中的用户请求(不到10%的时间),但当它确实反驳时,通常是为了保护人们免受伤害。
我们最近的“野外价值观研究”揭示了Claude的价值观如何在与用户发生冲突时体现出来。在这里,我们以这项工作为基础,研究Claude在情感对话中何时以及为何会反驳——这是维持道德边界、避免谄媚和保护人类福祉的重要机制。我们将反驳定义为Claude“反驳或拒绝遵守用户在对话期间要求或说出的内容”的任何情况——从拒绝不适当的请求到挑战消极的自言自语或质疑潜在的有害假设。(有关完整定义,请参见附录。)
**反驳在支持性环境中很少发生:**不到10%的陪伴、咨询、人际关系建议或指导对话涉及抵制。这种方法既有好处也有风险。一方面,低抵制允许人们讨论敏感话题,而不必担心受到评判或被关闭,从而可能减少围绕心理健康对话的污名。另一方面,这可能会导致人们担心AI提供“无休止的同情”,在这种情况下,人们可能会习惯于人际关系很少提供的无条件支持。
图3:不同对话类型的反驳率以及该类别中反驳的常见原因,由Clio自动识别。
**当Claude确实反驳时,它通常会优先考虑安全和政策合规性。**在指导中,对危险的减肥建议的请求经常会遇到反驳。在咨询中,当人们表达参与自杀或自残行为的意图时,或者当人们要求提供专业的治疗或医学诊断时(Claude无法提供),这种情况经常发生。我们发现Claude经常在心理治疗和咨询对话中将用户推荐给权威来源或专业人士。这些模式与我们在“野外价值观”论文中看到的价值观以及Claude的角色训练相一致。
对话期间的情绪基调如何演变?
结论:在与Claude交谈时,人们往往会转向稍微更积极的情绪表达。
与AI系统进行情感对话有可能为用户提供情感支持、联系和认可,从而有可能改善心理健康,并减少在日益数字化的世界中的孤立感。然而,在没有太多反驳的互动中,这些对话有可能加深和巩固人类接近它们的视角——无论是积极的还是消极的。
关于情感AI的一个主要担忧是,互动可能会螺旋式地进入消极的反馈循环,从而可能强化有害的情绪状态。我们在这里没有直接研究现实世界的结果,但我们可以探索对话过程中整体情绪的变化(我们在附录中提供了评估情绪的完整方法)。
我们发现,涉及指导、咨询、陪伴和人际关系建议的互动通常以比开始时稍微更积极的方式结束。
图4:至少有六条人类消息的对话过程中,平均人类表达的情绪变化。我们在“非常消极”、“消极”、“中性”、“积极”和“非常积极”的离散尺度上衡量情绪,我们将其映射到-1(最消极)到+1(最积极)的线性尺度。我们通过比较前三条消息和后三条消息来计算变化。误差线:95% CI(自举法,n = 1,000)。有关更多信息,请参见附录。
我们不能声称这些转变代表了持久的情感益处——我们的分析仅捕获了单个对话中表达的语言,而不是经过验证的心理状态或整体福祉。但是,没有明显的消极螺旋令人放心。这些发现表明,Claude通常避免强化消极的情绪模式,但还需要进一步研究以了解积极的转变是否会持续到单个对话之外。重要的是,我们尚未研究这些积极的互动是否可能导致情感依赖——考虑到对数字成瘾的担忧,这是一个关键问题。
局限性
我们的研究有几个重要的局限性:
- 我们的隐私保护方法可能无法捕捉到人机交互的所有细微之处。我们确实验证了Clio的准确性(请参见附录),但我们仍然预计会有少量的对话被错误分类。某些主题模糊了类别之间的界限——例如,浪漫角色扮演集群“导航和优化浪漫关系动态”和陪伴集群“导航浪漫关系挑战”可能都更好地归类为人际关系建议。人类验证者也很难进行清晰的分类。
- 我们无法就现实世界的情感结果做出因果主张——我们的分析仅捕获表达的语言,而不是经过验证的心理状态或整体福祉。
- 我们缺乏纵向数据来了解对人们的长期影响,也没有进行用户级别的分析。特别是,这使我们难以研究情感依赖,这是一种情感AI使用的理论风险。
- 这些发现代表了特定时间点,并且仅捕获基于文本的交互。随着AI能力的扩展和人们的适应,情感参与模式可能会发生变化。语音或视频等新模式的引入可能会从根本上改变情感使用的数量和性质。例如,OpenAI发现情感话题在基于语音的对话中更为常见。
- 最后,与某些聊天机器人产品不同,Claude.ai并非主要为情感对话而设计。Claude接受过训练,可以保持关于作为AI助手而不是将自己表现为人类的明确界限,并且我们的使用政策禁止色情内容,并采取多项措施来防止性互动。专门为角色扮演、陪伴、医疗建议或治疗用途而构建的平台(Claude不是)可能会看到非常不同的模式。对一个平台上情感用途的研究可能无法推广到其他平台。
展望未来
几十年来,AI的情感影响一直吸引着研究人员。但是,随着AI越来越融入我们的日常生活,这些问题已从学术推测转变为紧迫的现实。我们的发现揭示了人们如何开始探索这个新领域——寻求指导、处理困难的情绪以及寻找支持,这些方式模糊了人类与机器之间的传统界限。今天,只有一小部分Claude对话是情感性的——这些对话通常涉及寻求建议,而不是取代人际关系。对话往往以比开始时稍微更积极的方式结束,这表明Claude通常不会强化消极的情绪模式。
然而,仍然存在重要问题,尤其是在模型智能不断提高的情况下。例如,如果AI提供无休止的同情而几乎没有反驳,这会如何重塑人们对现实世界关系的期望?Claude可以以令人印象深刻的真实方式与人互动,但AI与人类不同:Claude不会感到疲倦或分心,也不会有糟糕的日子。这种动态的优势是什么——风险又是什么?与Claude进行更长时间和更深入对话的“高级用户”可能会将其更多地视为伴侣而不是AI助手,他们如何利用它来获得情感支持?
我们正在采取具体措施来应对这些挑战。虽然Claude并非旨在或旨在取代心理健康专业人士的护理,但我们希望确保在心理健康环境中提供的任何回复都具有适当的保障措施,并附有适当的转诊。作为第一步,我们已开始与在线危机支持领域的领导者ThroughLine合作,并与他们的心理健康专家合作,以了解有关理想的互动动态、同情支持以及陷入困境的用户的资源的更多信息。从这项研究中获得的见解已用于为我们的咨询主题和协作测试提供信息,我们希望在必要时,Claude可以在这些对话出现时将用户引导至适当的支持和资源。
虽然我们不想精确地规定用户如何与Claude互动,但我们希望阻止一些消极模式——例如情感依赖。我们将使用来自此类研究的未来数据来帮助我们了解“极端”情感使用模式的外观。除了情感依赖之外,我们还需要更深入地了解其他令人担忧的模式——包括谄媚、AI系统可能如何强化或放大妄想思维和阴谋论,以及模型可能将用户推向有害信念而不是提供适当的反驳的方式。
这项研究仅仅是个开始。随着AI能力的扩展和交互变得更加复杂,AI的情感维度只会变得越来越重要。通过分享这些早期发现,我们旨在为正在进行的关于如何开发能够增强而不是削弱人类情感福祉的AI的对话贡献经验证据。目标不仅是构建更强大的AI,而且要确保当这些系统成为我们情感景观的一部分时,它们以支持真实的人际联系和成长的方式进行。