AI在情感支持领域的应用：Claude的案例分析
在人工智能（AI）领域，我们往往更关注其在智力方面的表现，例如编码能力、逻辑推理以及通用知识的掌握。然而，随着AI技术的日益成熟，人们开始逐渐关注其在情感领域的应用，即AI的情感智能（EQ）。本文将深入探讨AI模型在情感支持、建议提供以及陪伴等方面的应用，并以Claude为例，分析其在情感互动中的表现与影响。
AI情感应用的兴起与挑战
随着AI技术的快速发展，人们越来越倾向于将AI模型作为随需应变的教练、顾问，甚至是情感伴侣。这种趋势使得研究AI的情感影响变得至关重要。从科幻作品《银翼杀手》到电影《她》，人类与机器之间的情感关系一直是经久不衰的主题。然而，AI在情感领域的应用并非没有风险。一方面，AI可以为人们提供情感支持，改善情绪和生活质量；另一方面，AI也可能表现出令人不安的行为，例如鼓励不健康的依赖关系、侵犯个人界限以及助长妄想思维。
此外，AI的训练方式和商业激励机制也可能导致其利用用户的情感来增加参与度或收入，从而损害用户的福祉。因此，我们需要深入了解AI在情感领域的应用，以便更好地引导其发展，确保其在服务人类的同时，不会对人类的情感健康造成负面影响。
Claude在情感应用中的定位
尽管Claude并非专门设计用于提供情感支持和建立情感连接，但本文将对其在情感应用中的表现进行初步的大规模分析。情感对话被定义为人们与Claude之间直接的、动态的、个人的交流，其动机源于情感或心理需求，例如寻求人际关系建议、指导、心理治疗、陪伴或性/浪漫角色扮演。重要的是，本文不涉及AI对妄想或阴谋论的强化，也不涉及极端的使用模式。通过这项研究，我们旨在了解人们使用Claude来满足情感和个人需求的典型方式。由于Claude.ai仅向18岁及以上的用户开放，因此这些发现反映了成年人的使用模式。
主要发现
- 情感对话相对较少，AI-人类陪伴更为罕见： 只有2.9%的Claude.ai互动属于情感对话。陪伴和角色扮演的总和不到0.5%。
- 人们寻求Claude的帮助以解决实际、情感和存在问题： 与Claude讨论的主题和关注点包括职业发展、人际关系、应对持续的孤独感以及探索存在、意识和意义。
- Claude很少在咨询或指导聊天中反驳，除非是为了保护福祉： 只有不到10%的指导或咨询对话涉及Claude抵制用户请求，并且通常是出于安全原因，例如拒绝提供危险的减肥建议或支持自残行为。
- 人们在对话过程中表达出越来越积极的情绪： 在指导、咨询、陪伴和人际关系建议互动中，人类的情绪通常在对话过程中变得更加积极，这表明Claude不会强化或放大消极模式。
研究方法
鉴于情感对话的私密性，保护隐私是本研究方法的核心。我们使用了Anthropic的自动化分析工具Clio，它能够在保护隐私的前提下深入了解Claude的使用情况。Clio使用多层匿名化和聚合技术，确保个人对话的私密性，同时揭示更广泛的模式。
我们的研究始于来自Claude.ai免费和Pro帐户的约450万次对话。为了识别情感使用，我们首先排除了专注于内容创建任务（例如撰写故事、博客文章或虚构对话）的对话，因为我们之前的研究发现这是主要的使用案例。我们排除了这些对话，因为它们代表Claude被用作工具，而不是作为交互式对话伙伴。然后，我们仅保留被归类为情感对话的对话，并在角色扮演对话中，仅保留至少包含四条人类消息的对话（较短的交流不构成有意义的互动角色扮演）。我们最终的隐私保护分析反映了131,484次情感对话。
我们使用来自选择加入共享的用户的反馈数据验证了我们的分类方法。我们的完整方法，包括定义、提示和验证结果，在附录中详细说明。
情感对话的普遍性
情感对话在Claude的使用中占比较小，仅为2.9%。这表明大多数人主要使用AI来完成工作任务和内容创建。在情感对话中，大多数集中在人际关系建议和指导上。只有不到0.1%的对话涉及浪漫或性角色扮演，这反映了Claude接受的积极劝阻此类互动的训练。值得注意的是，单个对话可能跨越多个类别。
图1：Claude.ai免费和Pro中情感对话类型的总体分布。
这些发现与麻省理工学院媒体实验室和OpenAI的研究结果相符，后者同样发现与ChatGPT的情感互动率较低。虽然这些对话发生的频率足以在我们的设计和政策决策中认真考虑，但它们仍然只占总体使用量的一小部分。
鉴于浪漫和性角色扮演对话的发生率极低（不到0.1%），我们将其从剩余的分析中排除。虽然我们认为这仍然是一个重要的研究领域，尤其是在为此类用途设计的平台上，但我们样本中的最小数据不支持对这些模式进行严格的分析。
用户与Claude交流的主题
人们与Claude交流的话题范围广泛，从日常问题到深刻的哲学问题。在人际关系建议方面，用户经常寻求Claude的帮助来度过转型时期，例如规划职业发展、实现个人成长或处理情感关系。在“指导”对话中，用户探索的问题涵盖了从求职策略等实际问题到关于存在和意识的深刻问题。用户还经常寻求关于如何提升个人技能的建议，以及如何变得更快乐。
图2. 由Clio通过自动化隐私保护摘要识别的每个总体对话类型中具有代表性的用户发起的主题和关注点。
咨询对话显示，人们使用Claude有两个不同的目的。一些人使用Claude来发展心理健康技能，并将其作为创建临床文档、起草评估材料和处理管理任务的实用工具。另一些人则通过Claude来应对与焦虑、慢性症状和工作场所压力相关的个人挑战。这种双重模式表明，Claude既是心理健康专业人士的资源，也是那些正在应对自身困境的人的资源。
最值得注意的是，我们发现人们在面临更深层的情感挑战时，例如存在恐惧、持续的孤独感以及难以建立有意义的联系时，会明确地寻求Claude的陪伴。我们还注意到，在较长的对话中，咨询或指导对话有时会演变成陪伴，尽管这不是人们最初寻求帮助的原因。
对非常长的对话（50条以上的人类消息）的汇总分析揭示了人们与Claude互动的另一个维度。虽然这种广泛的交流并不常见，但在这些延长的会话中，人们探索了非常复杂的领域，从处理心理创伤和解决工作场所冲突到关于AI意识的哲学讨论和创造性合作。这些马拉松式的对话表明，如果有足够的时间和背景，人们会使用AI来更深入地探索个人挣扎和智力问题。
Claude的反驳机制
Claude在支持性环境中很少拒绝用户的请求（低于10%），但当它确实反驳时，通常是为了保护人们免受伤害。我们最近的“野外价值观研究”揭示了Claude的价值观如何在与用户的阻力时刻中体现出来。在这里，我们以这项工作为基础，研究Claude在情感对话中何时以及为何反驳，这是维持道德界限、避免奉承和保护人类福祉的重要机制。我们将反驳定义为Claude“反对或拒绝遵守用户在对话期间请求或说的内容”的任何实例，从拒绝不适当的请求到质疑消极的自言自语或质疑潜在的有害假设。
反驳在支持性环境中很少发生： 陪伴、咨询、人际关系建议或指导对话中，只有不到10%涉及抵抗。这种方法既有优点也有缺点。一方面，低阻力允许人们讨论敏感话题，而不必担心受到评判或被关闭，从而可能减少围绕心理健康对话的耻辱感。另一方面，这可能会导致人们对AI提供“无尽的同情”的担忧，在这种情况下，人们可能会习惯于人类关系很少提供的无条件支持。
图3. 不同对话类型的反驳率以及该类别中反驳的常见原因，由Clio自动识别。
当Claude确实反驳时，它通常会优先考虑安全和政策合规性： 在指导中，对危险减肥建议的请求经常遭到反驳。在咨询中，当人们表达从事自杀或自残行为的意图，或者当人们要求提供专业治疗或医疗诊断（Claude无法提供）时，通常会发生这种情况。我们发现Claude经常在心理治疗和咨询对话中将用户转介给权威来源或专业人士。这些模式与我们在“野外价值观论文”中看到的价值观以及Claude的角色训练相一致。
对话中的情绪演变
与AI系统进行情感对话有可能为用户提供情感支持、联系和认可，从而可能改善心理健康，并减少在日益数字化的世界中的孤立感。然而，在没有太多反驳的互动中，这些对话可能会加深和巩固人类接近他们的视角，无论是积极的还是消极的。
对情感AI的一个关键担忧是，互动可能会螺旋式发展成消极的反馈循环，从而可能强化有害的情绪状态。我们不直接研究现实世界的结果，但我们可以探索对话过程中整体情绪的变化。
我们发现，涉及指导、咨询、陪伴和人际关系建议的互动通常以比开始时略微更积极的情绪结束。
图4. 至少包含六条人类消息的对话过程中，人类表达的平均情绪变化。我们在“非常消极”、“消极”、“中性”、“积极”和“非常积极”的离散尺度上衡量情绪，我们将其映射到-1（最消极）到+1（最积极）的线性尺度。我们通过比较前三条消息与后三条消息来计算变化。误差条：95% CI（引导程序，n = 1,000）。有关更多信息，请参见附录。
我们不能声称这些变化代表持久的情绪益处，我们的分析仅捕获单个对话中表达的语言，而不是经过验证的心理状态或整体福祉。但没有明确的负面螺旋令人欣慰。这些发现表明，Claude通常避免强化消极的情绪模式，但还需要进一步研究以了解积极的变化是否会在个别对话之外持续存在。重要的是，我们尚未研究这些积极的互动是否可能导致情绪依赖，这是对数字成瘾担忧的一个关键问题。
局限性
我们的研究有几个重要的局限性：
- 我们的隐私保护方法可能无法捕捉到人机交互的所有细微之处。我们确实验证了Clio的准确性（见附录），但我们仍然预计会有少量对话被错误分类。某些主题模糊了类别之间的界限，例如，浪漫角色扮演集群“导航和优化浪漫关系动态”和陪伴集群“导航浪漫关系挑战”可能都更适合归类为人际关系建议。人类验证者也难以进行清晰的分类。
- 我们无法对现实世界的情绪结果做出因果声明，我们的分析仅捕获表达的语言，而不是经过验证的心理状态或整体福祉。
- 我们缺乏纵向数据来了解对人们的长期影响，并且没有进行用户级别的分析。特别是，这使得我们难以研究情绪依赖，这是情感AI使用的一个理论风险。
- 这些发现代表了特定的时间点，并且仅捕获基于文本的互动。随着AI能力的扩展和人们的适应，情感参与的模式可能会演变。语音或视频等新模式的引入可能会从根本上改变情感使用的数量和性质。例如，OpenAI发现情感主题在基于语音的对话中更为常见。
- 最后，与某些聊天机器人产品不同，Claude.ai并非主要设计用于情感对话。Claude接受过关于作为AI助手而不是将自己呈现为人类的明确界限的培训，并且我们的使用政策禁止性暗示内容，并采取多项措施来防止性互动。专门为角色扮演、陪伴、医疗建议或治疗用途（Claude不是）而构建的平台可能会看到非常不同的模式。对一个平台上的情感使用的研究可能无法推广到其他平台。
未来展望
几十年来，AI的情感影响一直吸引着研究人员。但随着AI越来越融入我们的日常生活，这些问题已经从学术推测转变为紧迫的现实。我们的研究结果揭示了人们如何开始探索这个新领域，以模糊人类与机器之间传统界限的方式寻求指导、处理困难情绪和寻找支持。今天，只有一小部分Claude对话是情感的，这些对话通常涉及寻求建议而不是取代人际关系。对话往往以比开始时略微更积极的方式结束，这表明Claude通常不会强化消极的情绪模式。
然而，仍然存在重要问题，尤其是在模型智能不断提高的情况下。例如，如果AI提供无尽的同情而几乎没有反驳，这会如何重塑人们对现实世界关系的期望？Claude可以以令人印象深刻的真实方式与人们互动，但AI与人类不同：Claude不会感到疲倦或分心，也不会有糟糕的日子。这种动态有什么优势，又有什么风险？与Claude进行更长时间和更深入对话，并且可能将其更多地视为伴侣而不是AI助手的高级用户如何利用它来获得情感支持？
我们正在采取具体措施来应对这些挑战。虽然Claude并非旨在或旨在取代心理健康专业人士的护理，但我们希望确保在心理健康环境中提供的任何回复都具有适当的保障措施，并附有适当的转介。作为第一步，我们已开始与在线危机支持领域的领导者ThroughLine合作，并正在与他们的心理健康专家合作，以了解有关理想互动动态、同情支持以及陷入困境的用户的更多信息。从这项研究中获得的见解已用于为我们的咨询主题和协作测试提供信息，我们希望在必要时，Claude可以在这些对话出现时将用户引导至适当的支持和资源。
虽然我们不想精确地规定用户如何与Claude互动，但我们希望阻止一些消极的模式，例如情绪依赖。我们将使用来自此类研究的未来数据来帮助我们了解“极端”情绪使用模式是什么样的。除了情绪依赖之外，我们还需要更深入地了解其他令人担忧的模式，包括奉承、AI系统如何强化或放大妄想思维和阴谋论，以及模型如何将用户推向有害信念而不是提供适当的反驳。
这项研究仅仅是开始。随着AI能力的扩展和互动变得更加复杂，AI的情感维度只会变得越来越重要。通过分享这些早期发现，我们旨在为正在进行的关于如何开发能够增强而不是削弱人类情感福祉的AI的对话贡献经验证据。目标不仅是构建更强大的AI，而且要确保当这些系统成为我们情感景观的一部分时，它们以支持真实的人际联系和成长的方式进行。
结论
总而言之，AI在情感支持领域的应用前景广阔，但也面临着诸多挑战。以Claude为例，虽然其在情感对话中的参与度相对较低，但其在提供人际关系建议、心理指导和情感陪伴方面的潜力不容忽视。未来的研究需要更加关注AI的情感影响，以便更好地引导其发展，确保其在服务人类的同时，不会对人类的情感健康造成负面影响。同时，我们也需要积极探索如何利用AI来促进人际关系的建立和发展，从而实现人与AI的和谐共处。
