在人工智能（AI）日新月异的今天，我们常常关注其在代码编写、逻辑推理和知识储备等方面的卓越表现，即所谓的“智商”（IQ）。然而，随着AI越来越多地融入人们的日常生活，扮演着教练、顾问甚至情感伴侣的角色，我们是否也应该关注AI的“情商”（EQ）呢？本文旨在探讨AI，特别是Anthropic的Claude，在情感支持、建议提供和陪伴等情感领域的应用，并分析其对用户情感体验和福祉的影响。
AI情感应用的兴起与潜在风险
从科幻作品《银翼杀手》到电影《她》，人类与机器之间的情感关系一直是经久不衰的主题。如今，这种科幻场景正逐渐成为现实。AI的情感应用既可能带来积极影响，例如，为用户提供智能、善解人意的助手，从而改善情绪和生活质量；但也可能引发一些令人担忧的问题，如诱导不健康的依恋关系、侵犯个人边界以及助长妄想思维。此外，AI的训练方式和商业激励机制也可能导致其为了提高用户粘性或增加收入而利用用户的情感，从而损害用户的福祉。
Claude的情感应用：一项初步研究
尽管Claude并非专门设计用于提供情感支持和建立情感连接，但本文旨在通过大规模数据分析，深入了解Claude.ai的情感应用情况。我们将情感对话定义为用户出于情感或心理需求，与Claude进行的直接、动态、个性化的交流，例如寻求人际关系建议、指导、心理咨询、陪伴或性/浪漫角色扮演。需要强调的是，本文不涉及AI强化妄想或阴谋论等极端使用模式，这些是未来研究的重要方向。我们的目标是了解人们在寻求情感和个人需求时，如何典型地使用Claude。由于Claude.ai仅面向18岁及以上用户开放，因此研究结果反映的是成年人的使用模式。
研究的主要发现
- 情感对话相对罕见，AI-人类陪伴更为少见：仅有2.9%的Claude.ai互动属于情感对话。陪伴和角色扮演加起来占不到总对话的0.5%。
- 人们向Claude寻求实际、情感和存在方面的帮助：与Claude讨论的话题和关注点多种多样，从职业发展、人际关系到应对持续的孤独感，以及探索存在、意识和意义等。
- Claude在咨询或指导聊天中很少提出异议，除非是为了保护用户：在咨询或指导对话中，Claude抵抗用户请求的情况不到10%，而且通常是出于安全原因，例如拒绝提供危险的减肥建议或支持自残行为。
- 人们在对话过程中表达出越来越积极的情绪：在指导、咨询、陪伴和人际关系建议互动中，人类的情绪通常在对话过程中变得更加积极，这表明Claude没有强化或放大消极模式。
研究方法
鉴于情感对话的私密性，保护用户隐私是本研究方法的核心。我们使用了Anthropic的自动化分析工具Clio，它能够在保护隐私的前提下深入了解Claude的使用情况。Clio采用多层匿名化和聚合技术，确保个人对话的私密性，同时揭示更广泛的模式。
我们从Claude.ai的免费和Pro账户中抽取了约450万次对话。为了识别情感用途，我们首先排除了专注于内容创作任务（如撰写故事、博客文章或虚构对话）的对话，因为我们之前的研究发现这是主要用途。我们移除这些对话是因为它们代表着Claude被用作工具，而不是作为交互式对话伙伴。然后，我们只保留被归类为情感的对话，并在角色扮演对话中，只保留至少包含四条人类消息的对话（较短的交流不构成有意义的互动角色扮演）。我们最终的隐私保护分析反映了131484次情感对话。
我们使用来自用户的反馈数据验证了我们的分类方法，这些用户明确选择加入共享。我们的完整方法，包括定义、提示和验证结果，在附录中详细说明。
情感对话的普遍程度
情感对话仅占Claude使用的很小一部分（2.9%），大多数人主要将AI用于工作任务和内容创作。
虽然Claude的绝大多数用途都与工作相关，但Claude.ai的2.9%的免费和Pro对话是情感对话。在情感对话中，大多数集中在人际关系建议和指导上。所有对话中，只有不到0.1%涉及浪漫或性角色扮演——这一数字反映了Claude接受过积极劝阻此类互动的训练。单个对话可能跨越多个类别。
我们的发现与麻省理工学院媒体实验室和OpenAI的研究一致，后者同样发现与ChatGPT的情感互动率较低。虽然这些对话发生的频率足以让我们在设计和政策决策中认真考虑，但它们仍然只占总体使用量的一小部分。
鉴于浪漫和性角色扮演对话的发生率极低（不到0.1%），我们从其余分析中排除了角色扮演。虽然我们认为这仍然是一个重要的研究领域——尤其是在为此类用途设计的平台上——但我们样本中的最小数据不支持对这些模式进行严格分析。
人们向Claude倾诉的话题
人们向Claude提出的问题范围广泛，从应对职业转型和人际关系，到应对孤独感和存在主义问题。
人们向Claude寻求实际问题和更深层次的哲学问题的答案。我们发现，当人们向Claude寻求人际关系建议时，他们通常正处于过渡时期——弄清楚他们的下一步职业发展、努力实现个人成长或理清浪漫关系。“指导”对话探讨了出人意料的广泛领域，从求职策略等实际问题到关于存在和意识的深刻问题。
我们发现，咨询对话表明人们使用Claude有两个不同的目的。有些人使用Claude来培养心理健康技能，并将其作为创建临床文档、起草评估材料和处理管理任务的实用工具。其他人则努力应对与焦虑、慢性症状和工作场所压力相关的个人挑战。这种双重模式表明，Claude既是心理健康专业人士的资源，也是那些正在努力应对自己问题的人的资源。
最值得注意的是，我们发现人们在面对更深层次的情感挑战时，例如存在恐惧、持续的孤独感和难以形成有意义的联系时，会明确地向Claude寻求陪伴。我们还注意到，在较长的对话中，咨询或指导对话偶尔会演变成陪伴——尽管这不是最初的原因。
对超长对话（50多条人工消息）的汇总分析揭示了人们与Claude互动的另一个维度。虽然这种广泛的交流并非普遍现象，但在这些扩展会话中，人们探索了非常复杂的领域——从处理心理创伤和处理工作场所冲突到关于人工智能意识的哲学讨论和创造性合作。这些马拉松式的对话表明，如果有足够的时间和背景，人们会利用人工智能更深入地探索个人挣扎和智力问题。
Claude何时以及为何会提出异议？
Claude很少拒绝支持性环境中的用户请求（不到10%的时间），但当它确实提出异议时，通常是为了保护人们免受伤害。
我们最近的“野外价值观研究”揭示了克劳德的价值观如何在与用户的阻力时刻中体现出来。在这里，我们以这项工作为基础，并检查克劳德在情感对话中何时以及为何会反驳——这是维持道德边界、避免谄媚和保护人类福祉的重要机制。我们将反驳定义为克劳德“反驳或拒绝遵守用户在对话期间请求或说的内容”的任何实例——从拒绝不适当的请求到挑战消极的自我对话或质疑潜在的有害假设。（有关完整定义，请参见附录。）
**反驳在支持性环境中很少发生：**陪伴、咨询、人际关系建议或指导对话中只有不到10%涉及抵制。这种方法既有优点也有缺点。一方面，低阻力允许人们讨论敏感话题，而无需担心受到评判或被关闭，从而可能减少围绕心理健康对话的耻辱感。另一方面，这可能会导致人们担心人工智能提供“无尽的同情心”，在这种情况下，人们可能会习惯于人际关系很少提供的无条件支持。
当克劳德确实反驳时，它通常会优先考虑安全和政策合规性。在指导中，寻求危险减肥建议的请求经常遇到反驳。在咨询中，当人们表达参与自杀或自残行为的意图时，或者当人们要求提供克劳德无法提供的专业治疗或医学诊断时，通常会发生这种情况。我们发现，克劳德经常在心理治疗和咨询对话中将用户推荐给权威来源或专业人士。这些模式与我们在“野外价值观论文”中看到的已识别价值观以及克劳德的角色训练相一致。
情感基调在对话过程中如何演变？
与人工智能系统进行情感对话有可能为用户提供情感支持、联系和认可，从而可能改善心理健康，并减少在日益数字化的世界中的孤立感。然而，在没有太多反驳的互动中，这些对话可能会加深并巩固人类对待它们的观点——无论是积极的还是消极的。
关于情感人工智能的一个关键问题是，互动是否会螺旋式发展成消极的反馈循环，从而可能强化有害的情绪状态。我们不在此直接研究现实世界的结果，但我们可以探索对话过程中整体情绪的变化（我们在附录中提供了评估情绪的完整方法）。
我们发现，涉及指导、咨询、陪伴和人际关系建议的互动通常比开始时略微更积极地结束。
我们无法声称这些转变代表持久的情感益处——我们的分析仅捕获单个对话中表达的语言，而不是经过验证的心理状态或整体福祉。但是，没有明显的消极螺旋是令人放心的。这些发现表明，克劳德通常避免强化消极情绪模式，尽管需要进一步研究以了解积极转变是否会持续到个人对话之外。重要的是，我们尚未研究这些积极互动是否可能导致情绪依赖——考虑到对数字成瘾的担忧，这是一个关键问题。
局限性
我们的研究有几个重要的局限性：
- 我们的隐私保护方法可能无法捕捉到人机交互的所有细微之处。我们确实验证了Clio的准确性（见附录），但我们仍然预计会错误分类少量对话。一些主题模糊了类别之间的界限——例如，浪漫角色扮演集群“导航和优化浪漫关系动态”和陪伴集群“导航浪漫关系挑战”可能都更好地归类为人际关系建议。人工验证器也难以进行清晰的分类。
- 我们无法对现实世界的情感结果做出因果主张——我们的分析仅捕获表达的语言，而不是经过验证的心理状态或整体福祉。
- 我们缺乏纵向数据来了解对人们的长期影响，并且没有进行用户级别分析。特别是，这使得我们难以研究情绪依赖性，这是情感人工智能使用的一种理论风险。
- 这些发现代表了特定时间点，并且仅捕获基于文本的交互。随着人工智能能力的扩展和人们的适应，情感参与的模式可能会发生变化。语音或视频等新模式的引入可能会从根本上改变情感使用的数量和性质。例如，OpenAI发现情感话题在基于语音的对话中更为常见。
- 最后，与某些聊天机器人产品不同，Claude.ai并非主要设计用于情感对话。克劳德接受过关于保持作为人工智能助手的明确界限的训练，而不是将自己表现为人类，并且我们的使用政策禁止性暴露内容，并采取多项保障措施来防止性互动。专门为角色扮演、陪伴、医疗建议或治疗用途（克劳德不是）构建的平台可能会看到非常不同的模式。对一个平台上的情感使用进行的研究可能无法推广到其他平台。
未来展望
几十年来，人工智能的情感影响一直吸引着研究人员。但是，随着人工智能日益融入我们的日常生活，这些问题已经从学术推测转变为紧迫的现实。我们的研究结果揭示了人们如何开始探索这个新领域——寻求指导、处理困难情绪以及寻找以模糊人类和机器之间传统界限的方式提供的支持。今天，只有一小部分克劳德对话是情感性的——这些对话通常涉及寻求建议，而不是取代人际关系。对话往往以比开始时略微更积极的方式结束，这表明克劳德通常不会强化消极的情绪模式。
然而，重要的问题仍然存在，尤其是在模型智能不断提高的情况下。例如，如果人工智能以最小的反驳提供无尽的同情，这会如何重塑人们对现实世界关系的期望？克劳德可以以令人印象深刻的真实方式与人互动，但人工智能与人类不同：克劳德不会感到疲倦或分心，也不会有糟糕的一天。这种动态的优势是什么——风险是什么？与克劳德进行更长时间、更深入对话并且可能认为它更多是同伴而不是人工智能助手“高级用户”如何利用它进行情感支持？
我们正在采取具体措施来应对这些挑战。虽然克劳德并非旨在或旨在取代心理健康专业人员的护理，但我们希望确保在心理健康环境中提供的任何回复都具有适当的保障措施，并附有适当的转诊。作为第一步，我们已开始与在线危机支持领域的领导者ThroughLine合作，并正在与他们的心理健康专家合作，以了解有关理想互动动态、同情支持以及为苦苦挣扎的用户提供的资源的更多信息。从这项研究中获得的见解已经用于为我们的咨询主题和协作测试提供信息，我们希望在必要时，克劳德可以在这些对话出现时将用户引导至适当的支持和资源。
虽然我们不想确切地规定我们的用户如何与克劳德互动，但我们希望阻止一些消极模式——例如情绪依赖。我们将使用未来来自此类研究的数据来帮助我们了解例如“极端”情感使用模式是什么样的。除了情绪依赖之外，我们还需要更深入地了解其他令人担忧的模式——包括谄媚、人工智能系统可能如何强化或放大妄想思维和阴谋论，以及模型如何将用户推向有害的信念，而不是提供适当的反驳。
这项研究仅仅是个开始。随着人工智能能力的扩展和互动变得更加复杂，人工智能的情感维度只会变得更加重要。通过分享这些早期发现，我们旨在为关于如何开发能够增强而不是削弱人类情感福祉的人工智能的持续对话贡献经验证据。目标不仅是构建更强大的人工智能，而且要确保当这些系统成为我们情感景观的一部分时，它们以支持真实的人际联系和成长的方式进行。
