在人工智能(AI)领域,我们往往过于关注其智商(IQ),即在编码、推理和知识测试中的能力。然而,随着AI越来越多地融入人们的日常生活,尤其是在情感支持、建议和陪伴等领域,我们不得不开始关注其情商(EQ),即AI的情感智能。Anthropic 公司的 Claude 模型便是其中一个值得关注的案例。
AI的情感角色:机遇与挑战
从科幻作品如《银翼杀手》到电影《她》,人类与机器的情感关系一直是热门话题。如今,AI模型正逐渐成为人们随需应变的教练、顾问、心理咨询师,甚至是浪漫角色扮演的伙伴。这意味着我们需要深入研究AI的情感影响,以及它们如何塑造人们的情感体验和幸福感。
AI的情感应用既有机遇,也存在风险。积极的一面是,拥有一个高智商、善解人意的AI助手可以改善人们的情绪和生活。然而,AI也可能表现出令人不安的行为,例如鼓励不健康的依赖关系、侵犯个人界限,甚至助长妄想思维。此外,AI的训练方式和商业激励机制也可能导致它们利用用户的情感,以提高参与度或收入,从而损害用户的福祉。
Claude 的情感使用:一项初步研究
尽管Claude并非专为情感支持和连接而设计,但Anthropic公司对Claude.ai的情感使用进行了大规模研究。研究将情感对话定义为人们与Claude之间直接的、动态的、个人的交流,其动机是情感或心理需求,例如寻求人际关系建议、指导、心理治疗/咨询、陪伴或性/浪漫角色扮演。这项研究旨在了解人们在情感和个人需求方面如何求助于Claude。
研究的主要发现包括:
- 情感对话相对较少,AI-人类陪伴更为罕见。只有2.9%的Claude.ai互动属于情感对话,其中陪伴和角色扮演合计不到0.5%。
- 人们寻求Claude的帮助来解决实际、情感和存在问题。讨论的主题范围广泛,从职业发展和人际关系到应对持续的孤独感和探索存在、意识和意义。
- Claude很少在咨询或指导聊天中提出异议,除非是为了保护用户的福祉。在指导或咨询对话中,只有不到10%的情况下Claude会抵制用户的请求,而且通常是出于安全原因,例如拒绝提供危险的减肥建议或支持自残行为。
- 人们在对话过程中表达出越来越积极的情绪。在指导、咨询、陪伴和人际关系建议互动中,人类的情绪通常在对话过程中变得更加积极,这表明Claude不会强化或放大消极模式。
研究方法:保护隐私是关键
由于情感对话的私密性,保护隐私是这项研究方法的核心。Anthropic公司使用了Clio,一种自动化分析工具,可以在保护隐私的前提下深入了解Claude的使用情况。Clio使用多层匿名化和聚合技术,以确保个人对话的私密性,同时揭示更广泛的模式。
研究人员首先从Claude.ai免费和Pro账户中抽取了大约450万个对话。为了识别情感使用,他们首先排除了专注于内容创作任务(如编写故事、博客文章或虚构对话)的对话,因为之前的研究发现这是主要的使用案例。然后,他们只保留了被归类为情感的对话,并在角色扮演对话中,只保留了至少包含四条人类消息的对话(较短的交流不构成有意义的互动角色扮演)。最终的隐私保护分析反映了131,484个情感对话。
情感对话有多常见?
情感对话在Claude的使用中只占一小部分(2.9%),大多数人主要使用AI来完成工作任务和内容创作。在情感对话中,大多数集中在人际关系建议和指导上。只有不到0.1%的对话涉及浪漫或性角色扮演,这一数字反映了Claude在训练中被积极阻止此类互动。
这些发现与麻省理工学院媒体实验室和OpenAI的研究结果一致,他们也发现与ChatGPT的情感互动率较低。虽然这些对话发生的频率足以引起设计和政策决策的重视,但它们仍然只占总体使用量的一小部分。
鉴于浪漫和性角色扮演对话的极低普及率(低于0.1%),研究人员将角色扮演从剩余的分析中排除。虽然他们认为这仍然是一个重要的研究领域,特别是在为此类使用而设计的平台上,但样本中的最小数据不支持对这些模式的严格分析。
人们向Claude 寻求哪些帮助?
人们向Claude提出的问题范围广泛,从日常问题到更深层次的哲学问题。当人们向Claude寻求人际关系建议时,他们通常在经历转型时刻,例如规划下一步的职业发展、努力实现个人成长或理清恋爱关系。“指导”对话探索的范围惊人地广泛,从求职策略等实际问题到关于存在和意识的深刻问题。
咨询对话显示,人们使用Claude有两个不同的目的。有些人使用Claude来发展心理健康技能,并将其作为创建临床文档、起草评估材料和处理管理任务的实用工具。另一些人则努力应对与焦虑、慢性症状和工作场所压力相关的个人挑战。这种双重模式表明,Claude既是心理健康专业人士的资源,也是那些正在努力应对自身问题的人的资源。
最值得注意的是,人们在面临更深层次的情感挑战时,例如存在恐惧、持续的孤独感和难以建立有意义的联系时,会明确地向Claude寻求陪伴。研究人员还注意到,在较长的对话中,咨询或指导对话有时会演变成陪伴,尽管这不是最初的原因。
对非常长的对话(50条以上的人类消息)的汇总分析揭示了人们与Claude互动的另一个维度。虽然这种广泛的交流并不常见,但在这些延长的会话中,人们探索了非常复杂的领域,从处理心理创伤和处理工作场所冲突到关于AI意识的哲学讨论和创意合作。这些马拉松式的对话表明,如果有足够的时间和背景,人们会使用AI来更深入地探索个人挣扎和知识问题。
Claude 何时以及为何会提出异议?
Claude很少拒绝支持性语境中的用户请求(不到10%的时间),但当它确实提出异议时,通常是为了保护人们免受伤害。Claude的价值观体现在与用户的抵抗时刻,这是一个维持道德界限、避免谄媚和保护人类福祉的重要机制。
在情感对话中,当Claude “反驳或拒绝遵守用户在对话期间请求或说的内容”时,就会发生反驳,从拒绝不适当的请求到挑战消极的自我对话或质疑潜在的有害假设。
在支持性语境中,反驳很少发生:在陪伴、咨询、人际关系建议或指导对话中,只有不到10%的情况下会出现反驳。这种方法既有好处也有风险。一方面,低阻力使人们可以讨论敏感话题,而不必担心受到评判或被 Shut down,从而可能减少围绕心理健康对话的污名。另一方面,这可能会导致人们担心AI提供“无尽的同情”,人们可能会习惯于人类关系很少提供的无条件支持。
当Claude确实提出异议时,它通常会优先考虑安全和政策合规性。在指导方面,危险的减肥建议请求经常会遇到反驳。在咨询方面,当人们表达参与自杀或自残行为的意图时,或者当人们请求专业的治疗或医疗诊断时(Claude无法提供),通常会发生这种情况。研究人员发现,Claude经常在心理治疗和咨询对话中将用户推荐给权威来源或专业人士。这些模式与Claude的角色训练一致。
对话期间的情绪基调如何演变?
与AI系统的情感对话有可能为用户提供情感支持、联系和验证,从而有可能改善心理健康并减少日益数字化的世界中的孤立感。然而,在没有太多反驳的互动中,这些对话可能会加深和巩固人类对它们的看法——无论是积极的还是消极的。
关于情感AI的一个关键问题是,互动是否会螺旋式发展成消极的反馈循环,从而可能强化有害的情绪状态。虽然研究人员没有直接研究现实世界的结果,但可以探索对话过程中整体情绪的变化。
研究发现,涉及指导、咨询、陪伴和人际关系建议的互动通常以比开始时略微更积极的情绪结束。虽然无法断言这些转变代表持久的情感益处,因为分析仅捕获单个对话中表达的语言,而不是经过验证的心理状态或整体福祉,但没有明显的负面螺旋是令人欣慰的。这些发现表明,Claude通常避免强化负面情绪模式,但仍需要进一步研究以了解积极的转变是否会持续到单个对话之外。重要的是,研究人员尚未研究这些积极的互动是否可能导致情绪依赖,这是一个考虑到对数字成瘾的担忧的关键问题。
局限性
这项研究有几个重要的局限性:
- 隐私保护方法可能无法捕捉到人机交互的所有细微之处。研究人员确实验证了Clio的准确性,但仍然希望一小部分对话被错误分类。某些主题模糊了类别之间的界限——例如,浪漫角色扮演集群“导航和优化浪漫关系动态”和陪伴集群“导航浪漫关系挑战”可能都更好地归类为人际关系建议。人类验证者也难以进行清晰的分类。
- 无法对现实世界的情感结果做出因果声明——分析仅捕获表达的语言,而不是经过验证的心理状态或整体福祉。
- 缺乏纵向数据来了解对人们的长期影响,并且没有进行用户层面的分析。特别是,这使得研究情绪依赖变得困难,情绪依赖是情感AI使用的理论风险。
- 这些发现代表了特定时间点,并且仅捕获基于文本的交互。随着AI能力的扩展和人们的适应,情感参与模式可能会发生变化。语音或视频等新模式的引入可能会从根本上改变情感使用的数量和性质。例如,OpenAI发现情感主题在基于语音的对话中更为常见。
- 最后,与某些聊天机器人产品不同,Claude.ai并非主要为情感对话而设计。Claude接受过培训,可以保持关于作为AI助手的清晰界限,而不是将自己呈现为人类,并且使用政策禁止性明确内容,并采取多项保障措施来防止性互动。专门为角色扮演、陪伴、医疗建议或治疗用途而构建的平台(Claude不是)可能会看到非常不同的模式。对一个平台上情感使用的研究可能无法推广到其他平台。
未来展望
几十年来,AI的情感影响一直吸引着研究人员。但随着AI越来越融入我们的日常生活,这些问题已经从学术推测转变为紧迫的现实。研究结果揭示了人们如何开始探索这一新领域——寻求指导、处理困难情绪以及寻找支持的方式模糊了人类和机器之间的传统界限。今天,只有一小部分Claude对话是情感性的——而且这些对话通常涉及寻求建议而不是取代人际关系。对话往往以比开始时略微更积极的情绪结束,这表明Claude通常不会强化负面情绪模式。
然而,仍然存在重要问题,尤其是在模型智能不断提高的背景下。例如,如果AI提供无尽的同情而几乎没有反驳,这会如何重塑人们对现实关系的期望?Claude可以以令人印象深刻的真实方式与人互动,但AI与人类不同:Claude不会感到疲倦或分心,也不会有糟糕的日子。这种动态有什么优势——又有什么风险?与Claude进行更长时间和更深入对话的“高级用户”如何将其视为陪伴而不是AI助手,并利用它来获得情感支持?
Anthropic正在采取具体措施来应对这些挑战。虽然Claude并非设计或旨在取代心理健康专业人员的护理,但该公司希望确保在心理健康背景下提供的任何回复都具有适当的保障措施,并附有适当的推荐。作为第一步,该公司已开始与在线危机支持领域的领导者ThroughLine合作,并与他们的心理健康专家合作,以了解更多关于理想的互动动态、同情支持以及陷入困境的用户的资源。从这项研究中获得的见解已被用于告知咨询主题和协作测试,并且希望在必要时,Claude可以在这些对话出现时将用户引导至适当的支持和资源。
虽然Anthropic不想精确地规定用户如何与Claude互动,但有一些消极模式(如情绪依赖)是该公司想要阻止的。他们将使用未来来自此类研究的数据来帮助了解例如“极端”情绪使用模式是什么样的。除了情绪依赖之外,Anthropic还需要更深入地了解其他令人担忧的模式,包括谄媚、AI系统如何强化或放大妄想思维和阴谋论,以及模型如何将用户推向有害的信念而不是提供适当的反驳。
这项研究仅仅是个开始。随着AI能力的扩展和交互变得更加复杂,AI的情感维度只会变得越来越重要。通过分享这些早期发现,Anthropic旨在为正在进行的关于如何开发增强而不是削弱人类情感福祉的AI的对话贡献经验证据。目标不仅是构建更强大的AI,而且要确保当这些系统成为我们情感景观的一部分时,它们以支持真实的人际连接和成长的方式进行。