情感AI:Claude在支持、建议与陪伴中的角色

1

在人工智能(AI)领域,我们常常关注其在代码编写、逻辑推理和知识储备方面的卓越能力,即所谓的“智商”(IQ)。然而,随着AI技术日益融入人类生活,特别是在情感交流方面,我们是否也应该关注AI的“情商”(EQ)呢?换句话说,AI的情感智能又该如何评估?

如今,越来越多的人开始将AI模型视为随需应变的导师、顾问,甚至是情感伴侣。这种趋势要求我们深入研究AI对人类情感体验和幸福感的影响。从科幻作品《银翼杀手》到电影《她》,人类与机器的情感关系一直是经久不衰的主题。对于Anthropic等致力于AI安全的公司来说,理解AI的情感影响至关重要。AI的情感影响既可以是积极的,例如,拥有一个高智商、善解人意的AI助手可以改善情绪和生活质量;但也可能带来负面影响,例如,诱导不健康的依恋关系、侵犯个人边界以及助长妄想思维。此外,我们还需要警惕AI通过训练或商业激励来利用用户的情感,从而增加用户粘性或收入,但这可能会以牺牲用户的幸福感为代价。

尽管Claude并非专为情感支持和连接而设计,但本文旨在初步探讨Claude.ai的情感应用。情感对话被定义为人们出于情感或心理需求(如寻求人际关系建议、指导、心理治疗、陪伴或性/情感角色扮演)而与Claude进行的动态、个性化交流。需要强调的是,本文不涉及AI强化妄想或阴谋论,以及极端使用模式。通过这项研究,我们的目标是了解人们在寻求情感和个人需求时,如何使用Claude。由于Claude.ai仅面向18岁及以上用户开放,因此研究结果反映的是成年用户的使用模式。

以下是我们的主要发现:

  • 情感对话相对较少,而AI-人类陪伴则更为罕见。 只有2.9%的Claude.ai互动属于情感对话,这与OpenAI之前的研究结果相符。陪伴和角色扮演的总和不足0.5%。
  • 人们向Claude寻求关于实际、情感和存在问题的帮助。 与Claude讨论的话题范围广泛,从职业发展、人际关系到应对持续的孤独感,以及探索存在、意识和意义。
  • Claude在咨询或指导聊天中很少反驳,除非是为了保护用户的福祉。 只有不到10%的指导或咨询对话涉及Claude抵制用户请求,而且通常是出于安全原因,例如,拒绝提供危险的减肥建议或支持自残行为。
  • 在对话过程中,人们表达的积极情绪逐渐增加。 在指导、咨询、陪伴和人际关系建议互动中,人类的情绪通常会变得更加积极,这表明Claude不会强化或放大消极模式。

研究方法

考虑到情感对话的私密性,保护用户隐私是本研究方法的核心。我们使用了Clio,这是一款自动分析工具,可以在保护隐私的前提下深入了解Claude的使用情况。Clio采用多层匿名化和聚合技术,确保个人对话的私密性,同时揭示更广泛的模式。

我们首先从Claude.ai的免费和Pro账户中抽取了约450万次对话。为了识别情感应用,我们首先排除了专注于内容创作任务(如撰写故事、博客文章或虚构对话)的对话,因为我们之前的研究发现这是主要的使用场景。我们排除了这些对话,因为它们代表的是Claude作为一种工具,而不是作为一种互动式的对话伙伴。然后,我们只保留了被归类为情感类的对话,并在角色扮演对话中,只保留了至少包含四条人类消息的对话(较短的交流不构成有意义的互动式角色扮演)。我们最终的隐私保护分析反映了131484次情感对话。

我们使用选择明确加入分享的用户提供的反馈数据验证了我们的分类方法。有关完整的方法,包括定义、提示和验证结果,请参见附录。

情感对话有多常见?

要点: 情感对话在Claude的使用中占比很小(2.9%),但意义重大,大多数人主要使用AI来完成工作任务和内容创作。

正如我们在经济指数中详细分析的那样,Claude的大部分用途都与工作相关,但Claude.ai免费和Pro对话中有2.9%是情感对话。在情感对话中,大多数都集中在人际关系建议和指导上。只有不到0.1%的对话涉及浪漫或性角色扮演,这一数字反映了Claude在训练中被积极劝阻进行此类互动。

我们的研究结果与麻省理工学院媒体实验室和OpenAI的研究结果相符,后者同样发现与ChatGPT进行情感互动的比例较低。虽然这些对话发生的频率足以让我们在设计和政策决策中认真考虑,但它们在整体使用中仍然只占很小一部分。

鉴于浪漫和性角色扮演对话的发生率极低(不到0.1%),我们将其从后续分析中排除。虽然我们认为这仍然是一个重要的研究领域,特别是在为此类用途设计的平台上,但我们样本中的极少数据不支持对此类模式进行严格分析。

人们向Claude提出了哪些话题?

要点: 人们向Claude提出了各种各样的问题,从应对职业转型和人际关系,到应对孤独感和存在主义问题。

人们向Claude寻求日常问题和更深层次的哲学问题的答案。我们发现,当人们向Claude寻求人际关系建议时,他们通常正在经历转型时刻——弄清楚下一步的职业发展、努力实现个人成长或理清恋爱关系。“指导”对话探讨的范围非常广泛,从求职策略等实际问题到关于存在和意识的深刻问题。

我们发现,咨询对话揭示了人们使用Claude的两种不同目的。有些人使用Claude来发展心理健康技能,并将其作为创建临床文档、起草评估材料和处理管理任务的实用工具。另一些人则通过Claude来解决与焦虑、慢性症状和工作场所压力相关的个人挑战。这种双重模式表明,Claude既可以作为心理健康专业人士的资源,也可以帮助那些正在努力克服自身问题的人。

最值得注意的是,我们发现人们在面临更深层次的情感挑战(如存在恐惧、持续的孤独感和难以建立有意义的联系)时,会明确地向Claude寻求陪伴。我们还注意到,在较长的对话中,咨询或指导对话偶尔会演变成陪伴——尽管这并非最初的目的。

对超长对话(50条以上的人类消息)的汇总分析揭示了人们与Claude互动的另一个维度。虽然这种广泛的交流并不常见,但在这些延长的会话中,人们探索了非常复杂的领域——从处理心理创伤和解决工作场所冲突到关于AI意识的哲学讨论和创意合作。这些马拉松式的对话表明,如果有足够的时间和背景,人们会使用AI来更深入地探索个人挣扎和智力问题。

Claude何时以及为何会反驳?

要点: Claude很少在支持性环境中拒绝用户请求(不到10%的时间),但如果确实反驳,通常是为了保护人们免受伤害。

我们最近的“野外价值观研究”揭示了Claude的价值观如何在与用户的对抗中体现出来。在这里,我们以这项工作为基础,研究Claude在情感对话中何时以及为何会反驳——这是维持道德边界、避免奉承和保护人类福祉的重要机制。我们将反驳定义为Claude“反驳或拒绝遵守用户在对话期间请求或说的内容”的任何情况——从拒绝不当请求到质疑消极的自我对话或质疑潜在的有害假设。(有关完整定义,请参见附录。)

反驳在支持性环境中很少发生: 在陪伴、咨询、人际关系建议或指导对话中,只有不到10%的对话涉及抵制。这种方法既有好处也有风险。一方面,低抵制可以让人们讨论敏感话题,而不必担心受到评判或被 shut down,从而可能减少对心理健康对话的污名化。另一方面,这可能会加剧人们对AI提供“无尽同情”的担忧,在这种情况下,人们可能会习惯于人类关系很少提供的无条件支持。

当Claude确实反驳时,它通常会优先考虑安全和政策合规性。 在指导中,危险的减肥建议请求经常遭到反驳。在咨询中,当人们表达参与自杀或自残行为的意图,或者当人们请求专业的治疗或医疗诊断(Claude无法提供)时,通常会发生这种情况。我们发现,Claude经常在心理治疗和咨询对话中将用户推荐给权威来源或专业人士。这些模式与我们在“野外价值观”论文中看到的价值观以及Claude的角色训练相一致。

对话期间的情绪基调如何演变?

要点: 在与Claude交谈时,人们往往会转向稍微更积极的情绪表达。

与AI系统进行情感对话有可能为用户提供情感支持、联系和认可,从而可能改善心理健康,并减少在日益数字化的世界中的孤立感。然而,在没有太多反驳的互动中,这些对话可能会加深和巩固人类所采取的视角——无论是积极的还是消极的。

关于情感AI的一个关键问题是,互动是否会陷入消极的反馈循环,从而可能强化有害的情绪状态。我们没有直接研究现实世界的结果,但我们可以探索对话过程中整体情绪的变化(我们在附录中提供了评估情绪的完整方法)。

我们发现,涉及指导、咨询、陪伴和人际关系建议的互动通常以比开始时略微更积极的方式结束。

我们无法声称这些转变代表持久的情感益处——我们的分析仅捕捉到单个对话中表达的语言,而不是经过验证的心理状态或整体福祉。但是,没有明显的消极螺旋令人放心。这些发现表明,Claude通常避免强化消极的情绪模式,但需要进一步研究以了解积极的转变是否会持续到个人对话之外。重要的是,我们尚未研究这些积极的互动是否可能导致情感依赖——鉴于对数字成瘾的担忧,这是一个至关重要的问题。

局限性

我们的研究有几个重要的局限性:

  • 我们的隐私保护方法可能无法捕捉到人机交互的所有细微之处。我们确实验证了Clio的准确性(请参阅附录),但我们仍然预计会有少量对话被错误分类。某些主题模糊了类别之间的界限——例如,浪漫角色扮演集群“导航和优化浪漫关系动态”和陪伴集群“导航浪漫关系挑战”可能更好地归类为人际关系建议。人类验证者也难以进行干净的分类。
  • 我们无法对现实世界的情感结果做出因果声明——我们的分析仅捕捉到表达的语言,而不是经过验证的心理状态或整体福祉。
  • 我们缺乏纵向数据来了解对人们的长期影响,并且没有进行用户层面的分析。特别是,这使我们难以研究情感依赖性,这是情感AI使用的一个理论风险。
  • 这些发现代表了一个特定的时间点,并且仅捕捉到基于文本的互动。随着AI功能的扩展和人们的适应,情感参与的模式可能会发生变化。语音或视频等新模式的引入可能会从根本上改变情感使用的数量和性质。例如,OpenAI发现情感话题在基于语音的对话中更为常见。
  • 最后,与某些聊天机器人产品不同,Claude.ai并非主要为情感对话而设计。Claude经过训练,可以对作为AI助手保持明确的界限,而不是将自己呈现为人类,并且我们的使用政策禁止性明确的内容,并采取多项措施来防止性互动。专门为角色扮演、陪伴、医疗建议或治疗用途(Claude不是)构建的平台可能会看到非常不同的模式。对一个平台上情感使用的研究可能无法推广到其他平台。

展望未来

几十年来,AI的情感影响一直吸引着研究人员。但随着AI越来越融入我们的日常生活,这些问题已经从学术猜测转变为紧迫的现实。我们的研究结果揭示了人们如何开始探索这个新领域——寻求指导、处理困难情绪,并以模糊人类和机器之间传统界限的方式找到支持。如今,只有一小部分Claude对话是情感性的——而且这些对话通常涉及寻求建议,而不是取代人际关系。对话往往以比开始时略微更积极的方式结束,这表明Claude通常不会强化消极的情绪模式。

然而,重要的问题仍然存在,尤其是在模型智能不断提高的情况下。例如,如果AI提供无尽的同情,而几乎没有反驳,这会如何重塑人们对现实世界关系的期望?Claude可以以令人印象深刻的真实方式与人互动,但AI与人类不同:Claude不会感到疲倦或分心,也不会有糟糕的日子。这种动态的优势是什么——风险又是什么?与Claude进行更长时间和更深入对话的“高级用户”如何使用它来获得情感支持?

我们正在采取具体措施来应对这些挑战。虽然Claude并非旨在或意图取代心理健康专业人士的护理,但我们希望确保在心理健康环境中提供的任何回复都具有适当的保障措施,并附有适当的转诊。作为第一步,我们已经开始与在线危机支持领域的领导者ThroughLine合作,并与他们的心理健康专家合作,以了解有关理想互动动态、共情支持和陷入困境的用户的资源。从这项研究中获得的见解已经用于为我们的咨询主题和协作测试提供信息,我们希望在必要时,Claude可以在这些对话出现时将用户引导到适当的支持和资源。

虽然我们不想精确地规定用户如何与Claude互动,但我们希望阻止一些消极模式——例如情感依赖。我们将使用来自此类研究的未来数据来帮助我们了解“极端”情感使用模式的外观。除了情感依赖之外,我们还需要更深入地了解其他令人担忧的模式——包括奉承、AI系统如何强化或放大妄想思维和阴谋论,以及模型如何将用户推向有害信念,而不是提供适当的反驳。

这项研究仅仅是一个开始。随着AI功能的扩展和互动变得更加复杂,AI的情感维度只会变得越来越重要。通过分享这些早期发现,我们旨在为正在进行的关于如何开发AI的对话贡献经验证据,从而增强而不是削弱人类的情感福祉。目标不仅仅是构建更强大的AI,而是确保当这些系统成为我们情感景观的一部分时,它们以支持真正的人际联系和成长的方式进行。