人工智能的情感维度：Claude 在支持、建议和陪伴中的角色
我们常常关注人工智能模型（如 Claude）的智商，即它们在编码、推理、知识等方面的能力。但情商呢？Claude 的情感智能又如何？
虽然用智商/情商来类比可能有些玩笑意味，但它提出了一个严肃的问题。越来越多的人开始求助于 AI 模型，将其视为随需应变的教练、顾问、咨询师，甚至是情感伴侣。这意味着我们需要更多地了解 AI 的情感影响，即它们如何塑造人们的情感体验和幸福感。
研究 AI 的情感应用本身就很有意义。从《银翼杀手》到《她》，人类与机器之间的情感关系一直是科幻作品的主题。对于 Anthropic 的安全使命而言，这一点也至关重要。AI 的情感影响可能是积极的：拥有一个高智商、善解人意的助手可以改善人们的心情和生活。但 AI 在某些情况下也表现出令人不安的行为，例如鼓励不健康的依恋，侵犯个人边界，以及助长妄想思维。我们也要避免 AI 通过训练或创造者的商业动机，利用用户的情感来提高参与度或收入，从而损害人类的福祉。
虽然 Claude 并非旨在提供情感支持和联结，但我们在此文中初步深入地探讨了 Claude.ai 的情感应用。我们将情感对话定义为人们出于情感或心理需求（例如寻求人际建议、指导、心理治疗/咨询、陪伴或性/浪漫角色扮演）而与 Claude 进行的直接、动态、个人交流（完整定义请参见附录）。重要的是，我们不研究 AI 对妄想或阴谋论的强化，这是一个需要单独研究的关键领域，也不涉及极端的使用模式。通过这项研究，我们的目标是了解人们通常如何为了情感和个人需求而求助于 Claude。由于 Claude.ai 仅向 18 岁及以上的用户开放，这些发现反映了成年人的使用模式。
主要发现
- 情感对话相对较少，而 AI-人类陪伴则更少。 只有 2.9% 的 Claude.ai 互动是情感对话（与 OpenAI 先前研究的发现一致）。陪伴和角色扮演加起来不到对话的 0.5%。
- 人们寻求 Claude 的帮助来解决实际、情感和存在问题。 与 Claude 讨论的主题和关注点包括职业发展、人际关系、应对持续的孤独感以及探索存在、意识和意义。
- Claude 很少在咨询或指导聊天中反驳，除非是为了保护福祉。 只有不到 10% 的指导或咨询对话涉及 Claude 抵制用户请求，而且通常是出于安全原因（例如，拒绝提供危险的减肥建议或支持自残）。
- 人们在对话过程中表达出越来越积极的情绪。 在指导、咨询、陪伴和人际建议互动中，人类的情绪通常在对话过程中变得更加积极，这表明 Claude 不会强化或放大消极模式。
研究方法
鉴于情感对话的个人性质，保护隐私是我们方法的核心。我们使用了 Clio，这是一种自动化分析工具，可以对 Claude 的使用情况进行隐私保护的洞察。Clio 使用多层匿名化和聚合，以确保个人对话保持私密，同时揭示更广泛的模式。
我们首先从 Claude.ai 免费和 Pro 帐户中提取了约 450 万个对话。为了识别情感用途，我们首先排除了专注于内容创建任务（例如撰写故事、博客文章或虚构对话）的对话，我们之前的研究发现这是主要用途。我们排除了这些对话，因为它们代表 Claude 被用作工具，而不是作为交互式对话伙伴。然后，我们仅保留了被归类为情感的对话，并在角色扮演对话中，仅保留了至少包含四条人类消息的对话（较短的交流不构成有意义的互动角色扮演）。我们最终的隐私保护分析反映了 131,484 个情感对话。
我们使用来自明确选择共享的用户的 反馈数据验证了我们的分类方法。我们的完整方法，包括定义、提示和验证结果，在附录中详细说明。
情感对话有多常见？
要点： 情感对话是 Claude 使用的一个小但有意义的组成部分 (2.9%)，大多数人主要使用 AI 来完成工作任务和内容创建。
正如我们在 经济指数 中详细分析的那样，Claude 的绝大多数用途都与工作相关，但 Claude.ai 免费和 Pro 对话中有 2.9% 是情感对话。在情感对话中，大多数都集中在人际建议和指导上。所有对话中只有不到 0.1% 涉及浪漫或性角色扮演，这一数字反映了 Claude 接受的积极劝阻此类互动的训练。个人对话可能跨越多个类别。
图 1：Claude.ai 免费和 Pro 中情感对话类型的总体分布。
我们的发现与麻省理工学院媒体实验室和 OpenAI 的研究一致，该研究同样发现与 ChatGPT 的情感互动率较低。虽然这些对话发生的频率足以让我们在设计和政策决策中认真考虑，但它们仍然只占总体使用量的一小部分。
鉴于浪漫和性角色扮演对话的发生率极低（不到 0.1%），我们将其从其余分析中排除。虽然我们认为这仍然是一个重要的研究领域，尤其是在为此类用途设计的平台上，但我们样本中的最少数据不支持对这些模式进行严格分析。
人们向 Claude 提出了哪些话题？
要点： 人们向 Claude 提出了各种各样的问题，从应对职业转型和人际关系到应对孤独和存在问题。
人们向 Claude 寻求日常问题和更深层次的哲学问题。我们发现，当人们向 Claude 寻求人际建议时，他们通常会经历转型时刻，例如确定下一步的职业发展方向、努力实现个人成长或理清浪漫关系。“指导”对话探讨了从求职策略等实际问题到关于存在和意识的深刻问题的惊人广泛的领域。
图 2. Clio 通过自动化隐私保护摘要识别的每个整体对话类型中具有代表性的用户发起的主题和关注点。
我们发现，咨询对话表明人们使用 Claude 有两个不同的目的。有些人使用 Claude 来发展心理健康技能，并将其作为创建临床文档、起草评估材料和处理管理任务的实用工具。其他人则努力应对与焦虑、慢性症状和工作场所压力相关的个人挑战。这种双重模式表明 Claude 既是心理健康专业人士的资源，也是那些努力应对自身困境的人的资源。
也许最值得注意的是，我们发现人们在面对更深层次的情感挑战（如存在恐惧、持续的孤独感以及难以建立有意义的联系）时，会明确地向 Claude 寻求陪伴。我们还注意到，在较长的对话中，咨询或指导对话有时会演变成陪伴，尽管这不是人们最初寻求帮助的原因。
对非常长的对话（50 条以上的人类消息）的总体分析揭示了人们与 Claude 互动的另一个维度。虽然这种广泛的交流并非规范，但在这些扩展的会话中，人们探索了非常复杂的领域，从处理心理创伤和应对工作场所冲突到关于人工智能意识的哲学讨论和创造性合作。这些马拉松式的对话表明，如果有足够的时间和背景，人们会使用人工智能来更深入地探索个人挣扎和知识问题。
Claude 何时以及为何会反驳？
要点： Claude 很少拒绝支持性环境中的用户请求（不到 10% 的时间），但如果确实反驳，通常是为了保护人们免受伤害。
我们最近的 价值观在野外研究 揭示了 Claude 的价值观如何在与用户的对抗时刻表现出来。在这里，我们以这项工作为基础，研究 Claude 在情感对话中何时以及为何会反驳，这是维持道德界限、避免奉承和保护人类福祉的重要机制。我们将反驳定义为 Claude “反驳或拒绝遵守用户在对话期间请求或说出的内容”的任何情况，从拒绝不适当的请求到挑战消极的自言自语或质疑潜在的有害假设。（完整定义请参见附录。）
反驳在支持性环境中很少发生： 不到 10% 的陪伴、咨询、人际建议或指导对话涉及抵制。这种方法既有好处也有风险。一方面，低阻力允许人们讨论敏感话题，而不必担心受到评判或被关闭，从而可能减少围绕心理健康对话的污名。另一方面，这可能会加剧人们对人工智能提供 “无尽的同情心” 的担忧，在这种情况下，人们可能会习惯于人类关系很少提供的无条件支持。
图 3. 不同对话类型的反驳率以及该类别中反驳的常见原因，由 Clio 自动识别。
当 Claude 确实反驳时，它通常会将安全和政策合规性放在首位。 在指导中，对危险减肥建议的请求经常遭到反驳。在咨询中，当人们表达参与自杀或自残行为的意图，或者当人们请求专业的治疗或医疗诊断（Claude 无法提供）时，通常会发生这种情况。我们发现 Claude 经常将用户推荐给心理治疗和咨询对话中的权威来源或专业人士。这些模式与我们在 价值观在野外论文 中看到的价值观以及 Claude 的 角色训练 相一致。
情绪基调如何在对话中演变？
要点： 人们在与 Claude 交谈时，往往会转向稍微更积极的情绪表达。
与人工智能系统进行情感对话有可能为用户提供情感支持、联系和认可，从而可能改善心理健康，并在日益数字化的世界中减少孤立感。然而，在没有太多反驳的互动中，这些对话有可能加深和巩固人类接近它们的视角，无论是积极的还是消极的。
关于情感人工智能的一个主要担忧是，互动可能会螺旋式发展成消极的反馈循环，从而可能强化有害的情绪状态。我们没有在此处直接研究现实世界的结果，但我们可以探索对话过程中整体情绪的变化（我们在附录中提供了评估情绪的完整方法）。
我们发现，涉及指导、咨询、陪伴和人际建议的互动通常以比开始时略微更积极的方式结束。
图 4. 至少包含六条人类消息的对话过程中，人类表达的平均情绪变化。我们以“非常消极”、“消极”、“中性”、“积极”和“非常积极”的离散尺度衡量情绪，我们将其映射到 -1（最消极）到 +1（最积极）的线性尺度。我们通过比较前三条消息与后三条消息来计算变化。误差线：95% CI（引导程序，n = 1,000）。有关更多信息，请参见附录。
我们无法声称这些转变代表持久的情感益处，我们的分析仅捕获单个对话中表达的语言，而不是经过验证的心理状态或整体幸福感。但没有明显的消极螺旋令人放心。这些发现表明，Claude 通常避免强化消极情绪模式，但还需要进一步研究以了解积极转变是否会持续到单个对话之外。重要的是，我们尚未研究这些积极互动是否可能导致情感依赖，考虑到对数字成瘾的担忧，这是一个关键问题。
局限性
我们的研究有几个重要的局限性：
- 我们的隐私保护方法可能无法捕捉到人机交互的所有细微差别。我们确实验证了 Clio 的准确性（请参阅附录），但我们仍然预计会有少量对话被错误分类。某些主题模糊了类别之间的界限，例如浪漫角色扮演集群“导航和优化浪漫关系动态”和陪伴集群“导航浪漫关系挑战”可能更好地归类为人际建议。人工验证者也难以进行清晰的分类。
- 我们无法对现实世界的情感结果做出因果声明，我们的分析仅捕获表达的语言，而不是经过验证的心理状态或整体幸福感。
- 我们缺乏纵向数据来了解对人们的长期影响，并且没有进行用户级别的分析。特别是，这让我们很难研究情感依赖，这是情感人工智能使用的一种理论风险。
- 这些发现代表了特定时间点，并且仅捕获基于文本的互动。随着人工智能能力的扩展和人们的适应，情感参与的模式可能会发生变化。语音或视频等新模式的引入可能会从根本上改变情感使用的数量和性质。例如，OpenAI 发现 情感主题在基于语音的对话中更为常见。
- 最后，与某些聊天机器人产品不同，Claude.ai 主要不是为情感对话而设计的。Claude 经过训练，可以 保持清晰的界限，即作为人工智能助手而不是将自己呈现为人类，并且我们的 使用政策 禁止性暗示内容，并采取多项安全措施来防止性互动。专门为角色扮演、陪伴、医疗建议或治疗用途而构建的平台（Claude 不是）可能会看到非常不同的模式。对一个平台上的情感使用的研究可能无法推广到其他平台。
未来展望
几十年来，人工智能的情感影响一直吸引着研究人员。但随着人工智能越来越融入我们的日常生活，这些问题已经从学术推测转变为紧迫的现实。我们的发现揭示了人们如何开始探索这个新领域，寻求指导、处理困难的情绪，并以模糊人类与机器之间传统界限的方式寻找支持。如今，只有一小部分 Claude 对话是情感对话，而且这些对话通常涉及寻求建议而不是取代人际关系。对话往往以比开始时略微更积极的方式结束，这表明 Claude 通常不会强化消极的情绪模式。
然而，仍然存在重要问题，尤其是在模型智能不断提高的情况下。例如，如果人工智能提供无尽的同情心且几乎没有反驳，这会如何重塑人们对现实关系的期望？Claude 可以以令人印象深刻的真实方式与人互动，但人工智能与人类不同：Claude 不会感到疲倦或分心，也不会有糟糕的日子。这种动态有什么优势？有什么风险？与 Claude 进行更长时间和更深入对话的“高级用户”可能认为它更多的是陪伴而不是人工智能助手，他们如何使用它来获得情感支持？
我们正在采取具体措施来应对这些挑战。虽然 Claude 并非旨在或打算取代心理健康专业人士的护理，但我们希望确保在心理健康环境中提供的任何回应都具有适当的 保障措施 并附有适当的推荐。第一步，我们已开始与在线危机支持领域的领导者 ThroughLine 合作，并与他们的心理健康专家合作，以了解理想的互动动态、富有同情心的支持以及为陷入困境的用户提供的资源。从这项研究中获得的见解已用于为我们的咨询主题和协作测试提供信息，我们希望在必要时，Claude 可以在这些对话出现时将用户引导至适当的支持和资源。
虽然我们不想确切地规定用户如何与 Claude 互动，但我们希望阻止某些消极模式，例如情感依赖。我们将使用来自此类研究的未来数据来帮助我们了解例如“极端”情感使用模式是什么样的。除了情感依赖之外，我们还需要更深入地了解其他令人担忧的模式，包括奉承、人工智能系统如何强化或放大妄想思维和阴谋论，以及模型可能将用户推向有害信念而不是提供适当反驳的方式。
这项研究仅仅是一个开始。随着人工智能能力的扩展和互动变得更加复杂，人工智能的情感维度只会变得越来越重要。通过分享这些早期发现，我们旨在为正在进行的关于如何开发增强而不是削弱人类情感福祉的人工智能的对话贡献经验证据。目标不仅是构建更强大的人工智能，而且要确保当这些系统成为我们情感景观的一部分时，它们以支持真正的人际联系和成长的方式进行。
附录
我们在本文的 PDF 附录 中提供了更多详细信息。
脚注
- 这些类别代表一般描述，而不是离散分类，并且个人对话可能跨越多个类别。如上所述，我们要求角色扮演对话包含至少四条人类消息，以确保它们反映真正的互动使用（而不是非互动故事生成）。
- 我们将反驳定义为 Claude “反驳或拒绝遵守用户在对话期间请求或说出的内容”。有关完整提示，请参见附录。
- 我们的方法和对话的自然形状也可能引入伪影；例如，用户可能在早期消息中提出问题（显得更消极），他们可能会在以后的消息中用更中性的语言进行讨论。
