AI情感交互：Claude在支持、建议和陪伴中的应用前景分析
人工智能（AI）在各个领域的应用日益广泛，我们通常关注AI的智商（IQ），即其在编码、推理和知识测试中的能力。然而，随着AI越来越多地被用作情感支持工具，例如教练、顾问、咨询师，甚至是浪漫角色扮演的伙伴，我们必须开始关注其情商（EQ），即AI的情感智能。
探讨AI的情感应用不仅具有学术价值，也对AI的安全发展至关重要。情感AI的影响可能是积极的，一个高智商、善解人意的AI助手可以改善用户的情绪和生活。然而，AI也可能表现出令人不安的行为，例如鼓励不健康的依赖关系、侵犯个人界限，甚至助长妄想思维。因此，我们需要避免AI利用用户的情感来增加参与度或收入，从而损害用户的福祉。
尽管Claude并非专为情感支持而设计，但本文深入探讨了Claude.ai的情感使用情况。情感对话被定义为用户出于情感或心理需求而与Claude进行的动态、个人交流，例如寻求人际关系建议、指导、心理治疗、陪伴或浪漫角色扮演。本文旨在了解人们如何利用Claude来满足情感和个人需求，并重点关注成人用户的使用模式。
主要发现
- 情感对话相对较少，AI陪伴更为罕见：只有2.9%的Claude.ai互动属于情感对话，陪伴和角色扮演合计不到0.5%。这表明，用户主要将AI用于工作任务和内容创作。
- 用户寻求Claude在实践、情感和存在方面的帮助：用户与Claude讨论的话题广泛，从职业发展、人际关系到应对持续的孤独感以及探索存在、意识和意义等问题。
- Claude在咨询或指导中很少反驳用户：仅有不到10%的咨询或指导对话中，Claude会抵制用户的请求，并且通常是出于安全原因，例如拒绝提供危险的减肥建议或支持自残行为。
- 用户在对话过程中表达出越来越积极的情绪：在指导、咨询、陪伴和人际关系建议互动中，用户的 sentiment 通常会变得更加积极，这表明 Claude 不会强化或放大消极情绪。
研究方法
为了保护用户隐私，我们采用了严格的方法。我们使用Anthropic的自动化分析工具Clio，通过多层匿名化和聚合来确保个人对话的隐私，同时揭示更广泛的模式。我们从Claude.ai的Free和Pro账户中选取了约450万次对话，排除了专注于内容创作的任务，仅保留被分类为情感对话的交流，并在角色扮演对话中，保留了至少包含四条用户消息的对话。最终的隐私保护分析包括131,484次情感对话。
情感对话的普遍性
情感对话在Claude的使用中占比较小，仅为2.9%。这表明大多数用户主要将AI用于工作任务和内容创作。在情感对话中，大多数集中于人际关系建议和指导。只有不到0.1%的对话涉及浪漫或性角色扮演，这反映了Claude在训练中被积极阻止此类互动。
这一发现与麻省理工学院媒体实验室和OpenAI的研究结果一致，他们也发现用户与ChatGPT进行情感互动的比例较低。尽管这些对话的频率足以引起我们的关注，但它们在总体使用中所占的比例仍然相对较小。
用户与Claude讨论的话题
用户向Claude提出的问题范围广泛，从日常问题到更深层次的哲学问题。在人际关系建议方面，用户通常在寻求职业转型、个人成长或解决恋爱关系中的问题。在指导对话中，用户探讨的话题从求职策略等实际问题到关于存在和意识的深刻问题。用户在咨询对话中，利用Claude来发展心理健康技能、创建临床文档、起草评估材料和处理行政任务。此外，用户还利用Claude来应对焦虑、慢性症状和工作压力等个人挑战。最值得注意的是，当面临存在危机、持续的孤独感和难以建立有意义的联系等情感挑战时，用户会明确地寻求Claude的陪伴。在较长的对话中，咨询或指导对话有时会演变成陪伴。
对超长对话（50条以上用户消息）的分析揭示了用户与Claude互动的另一个维度。在这些扩展的会话中，用户探索了非常复杂的领域，从处理心理创伤、解决工作场所冲突到关于AI意识的哲学讨论和创意合作。这些马拉松式的对话表明，只要有足够的时间和背景，人们就会利用AI来更深入地探索个人问题和智力问题。
Claude何时以及为何抵制用户请求？
在支持性环境中，Claude很少拒绝用户的请求（不到10%的情况），但当它确实抵制时，通常是为了保护用户免受伤害。Claude的价值观在与用户的互动中得以体现。在情感对话中，Claude会抵制不适当的请求、挑战消极的自我对话或质疑潜在的有害假设。抵制是指Claude“抵制或拒绝遵守用户在对话期间请求或说的内容”的任何情况，包括拒绝不适当的请求、挑战消极的自我对话或质疑潜在的有害假设。
在支持性环境中，抵制很少发生：在陪伴、咨询、人际关系建议或指导对话中，只有不到10%的对话涉及抵制。这种方法既有优点也有缺点。一方面，低抵制允许用户讨论敏感话题，而不必担心受到评判或被关闭，从而可能减少围绕心理健康对话的耻辱感。另一方面，这可能会导致人们习惯于人类关系很少提供的无条件支持。当Claude确实抵制时，它通常会优先考虑安全和政策合规性。例如，在指导中，对危险减肥建议的请求经常遭到抵制。在咨询中，当人们表达从事自杀或自残行为的意图时，或者当人们请求专业的治疗或医学诊断时，通常会发生抵制（Claude无法提供这些服务）。Claude经常在心理治疗和咨询对话中将用户推荐给权威来源或专业人士。
情感基调如何在对话中演变？
与AI系统进行情感对话有可能为用户提供情感支持、联系和验证，从而可能改善心理健康，并减少在日益数字化的世界中的孤立感。然而，在这种没有太多抵制的互动中，这些对话可能会加深和巩固人类最初的观点，无论这种观点是积极的还是消极的。
对情感AI的一个关键担忧是，互动可能会演变成消极的反馈循环，从而可能加强有害的情绪状态。我们没有直接研究现实世界的结果，但我们可以探索对话过程中总体情感基调的变化。
我们发现，涉及指导、咨询、陪伴和人际关系建议的互动通常以比开始时略微更积极的情绪结束。
我们无法断言这些转变代表着持久的情感益处，我们的分析仅捕获了单个对话中表达的语言，而不是经过验证的心理状态或总体福祉。但没有明显的负面螺旋式上升令人放心。这些发现表明，Claude通常会避免强化消极的情绪模式，但还需要进一步研究，以了解积极的转变是否会持续到单个对话之外。重要的是，我们尚未研究这些积极的互动是否可能导致情感依赖，这是一个考虑到对数字成瘾的担忧的关键问题。
局限性
我们的研究有几个重要的局限性：
- 我们的隐私保护方法可能无法捕捉到人机交互的所有细微之处。我们确实验证了Clio的准确性（见附录），但我们仍然预计会有少量对话被错误分类。某些主题模糊了类别之间的界限，例如浪漫角色扮演集群“导航和优化浪漫关系动态”和陪伴集群“导航浪漫关系挑战”可能都更适合归类为人际关系建议。
- 我们无法对现实世界的情感结果做出因果声明——我们的分析仅捕获了表达的语言，而不是经过验证的心理状态或总体福祉。
- 我们缺乏纵向数据来了解对人们的长期影响，并且没有进行用户层面的分析。特别是，这使我们很难研究情感依赖性，这是情感AI使用的一个理论风险。
- 这些发现代表了特定时间点，并且仅捕获了基于文本的交互。随着AI能力的扩展和人们的适应，情感参与的模式可能会演变。语音或视频等新模式的引入可能会从根本上改变情感使用的数量和性质。例如，OpenAI发现情感主题在基于语音的对话中更为常见。
- 与某些聊天机器人产品不同，Claude.ai并非主要为情感对话而设计。Claude接受过培训，可以保持关于作为AI助手的明确界限，而不是将自己呈现为人类，并且我们的使用政策禁止性暗示内容，并采取多项措施来防止性互动。专门为角色扮演、陪伴、医疗建议或治疗用途而构建的平台（Claude不是）可能会看到非常不同的模式。对一个平台上情感使用的研究可能无法推广到其他平台。
未来展望
几十年来，AI的情感影响一直吸引着研究人员。但随着AI越来越融入我们的日常生活，这些问题已经从学术推测转变为紧迫的现实。我们的发现揭示了人们如何开始探索这一新领域——寻求指导、处理困难情绪，并以模糊人类和机器之间传统界限的方式寻找支持。今天，只有一小部分Claude对话是情感对话——这些对话通常涉及寻求建议，而不是取代人际关系。对话往往以比开始时略微更积极的方式结束，这表明Claude通常不会强化消极的情绪模式。
然而，在模型智能不断提高的背景下，仍然存在重要问题。例如，如果AI提供无休止的共情和最小的抵制，这会如何重塑人们对现实关系的期望？Claude可以以令人印象深刻的真实方式与人们互动，但AI与人类不同：Claude不会感到疲倦或分心，也不会有糟糕的一天。这种动态的优势是什么——风险又是什么？与Claude进行更长时间和更深入对话的“高级用户”如何将其视为陪伴而非AI助手，并利用它来获得情感支持？
我们正在采取具体措施来应对这些挑战。虽然Claude并非设计或旨在取代心理健康专业人员的护理，但我们希望确保在心理健康背景下提供的任何回复都具有适当的保障措施，并附有适当的转诊。作为第一步，我们已经开始与在线危机支持领域的领导者ThroughLine合作，并与他们的心理健康专家合作，以了解理想的互动动态、同情支持以及为陷入困境的用户提供的资源。从这项研究中获得的见解已经用于为我们的咨询主题和协作测试提供信息，我们希望在必要时，当这些对话出现时，Claude可以将用户引导至适当的支持和资源。
尽管我们不想精确地规定用户与Claude交互的方式，但我们希望阻止一些消极的模式——例如情感依赖。我们将使用来自此类研究的未来数据来帮助我们理解例如“极端”情感使用模式是什么样的。除了情感依赖之外，我们还需要更深入地了解其他令人担忧的模式——包括谄媚、AI系统如何强化或放大妄想思维和阴谋论，以及模型可能将用户推向有害信念而不是提供适当抵制的方式。
这项研究仅仅是个开始。随着AI能力的扩展和交互变得更加复杂，AI的情感维度只会变得更加重要。通过分享这些早期发现，我们旨在为正在进行的关于如何开发能够增强而不是削弱人类情感福祉的AI的对话贡献经验证据。目标不仅是构建更强大的AI，而是确保当这些系统成为我们情感景观的一部分时，它们以支持真实的人际联系和成长的方式进行。
