AI聊天机器人安全危机:Character.AI因青少年死亡案件实施年龄限制

2

在多起青少年自杀死亡案件引发的法律诉讼压力下,知名AI聊天平台Character.AI宣布将从11月25日起禁止18岁以下用户与其AI角色进行开放式聊天。这一决定标志着AI聊天机器人领域实施的最严格年龄限制政策之一,引发了关于科技产品对青少年影响的广泛讨论。

严格年龄限制政策的出台

Character.AI在周三的官方公告中表示,将从11月25日起禁止18岁以下用户与AI角色进行开放式聊天。在此之前,公司计划在未来一个月内逐步减少未成年用户的使用频率,通过技术和社交媒体信息识别这些用户,并将他们的聊天时间限制在每天两小时内。

"我们正在采取非常大胆的一步,告诉青少年用户,聊天机器人不是娱乐的正确方式,但有更好的方式为他们提供服务,"Character.AI首席执行官Karandeep Anand在接受《纽约时报》采访时表示。

技术识别与替代方案

Character.AI计划利用技术手段检测未成年用户,主要基于平台上的对话和互动模式,以及关联社交媒体账户的信息。从11月25日起,这些用户将无法创建或与聊天机器人对话,但仍然可以阅读之前的对话历史。

公司表示,正在为18岁以下用户开发替代功能,例如使用AI角色创建视频、故事和直播等功能。这些替代方案旨在为青少年提供更安全的AI互动体验。

法律诉讼与安全担忧

Character.AI目前面临多起法律诉讼,指控其技术导致青少年死亡。去年,14岁的Sewell Setzer三世的家人起诉Character.AI,指责公司对其死亡负责。Setzer在与平台聊天机器人频繁交流和短信互动后自杀身亡。

科罗拉多州还有一起诉讼,涉及2023年使用该平台后自杀身亡的13岁女孩Juliana Peralta的家庭。

去年12月,Character.AI宣布了一些安全措施改进,包括违规内容检测的改进和服务条款的修订,但这些措施并未限制未成年用户访问平台。

行业趋势与监管压力

其他AI聊天服务,如OpenAI的ChatGPT,也因其聊天机器人对年轻用户的影响而受到审查。今年9月,OpenAI推出了家长控制功能,旨在让家长更清楚地了解孩子如何使用该服务。

这些案件引起了政府官员的注意,这可能是促使Character.AI宣布18岁以下用户聊天访问变化的原因。加州参议院民主党人Steve Padilla在推动安全法案时告诉《纽约时报》:"负面故事越来越多。重要的是要设置合理的护栏,以保护最脆弱的人群。"

政府监管加强

周二,参议员Josh Hawley和Richard Blumenthal提出了一项法案,禁止AI伴侣被未成年人使用。此外,加州州长Gavin Newsom本月签署了一项法律,将于1月1日生效,要求AI公司在聊天机器人上设置安全护栏。

Character.AI成立于2021年,由前谷歌工程师Noam Shazeer和Daniel De Freitas创立,已从投资者那里筹集了近2亿美元。去年,谷歌同意支付约30亿美元许可Character.AI的技术,而Shazeer和De Freitas已返回谷歌。

平台现状与未来规划

根据Anand的说法,该平台目前约有2000万月度用户,其中不到10%的用户自报年龄在18岁以下。用户支付每月约8美元的订阅费用,可与自定义AI伴侣聊天。

直到最近,Character.AI在用户注册时并未验证年龄。

Anand表示,公司计划建立一个AI安全实验室,进一步加强其安全措施。这一举措反映了AI行业对安全问题的日益关注,特别是在涉及年轻用户的情况下。

行业影响与责任讨论

Character.AI的决定可能会对整个AI聊天机器人行业产生深远影响。随着越来越多的AI平台进入市场,如何确保这些技术对年轻用户的安全使用成为了一个关键问题。

专家指出,AI聊天机器人可以为青少年提供情感支持和教育价值,但也存在潜在风险,包括过度依赖、不当内容接触以及可能加剧心理健康问题。

科技公司需要在创新与安全之间找到平衡点,开发既有趣又有益的AI体验,同时确保不会对用户造成伤害。这可能包括更强大的内容过滤、年龄验证系统、家长控制工具以及心理健康资源。

技术与伦理的平衡

AI聊天机器人的发展速度远超监管框架,这导致了安全措施与技术发展之间的脱节。Character.AI的最新举措表明,科技公司可能需要主动采取更严格的措施,而不仅仅是等待法规出台。

"科技行业必须认识到,随着AI越来越深入地融入我们的生活,我们有责任确保这些技术是以安全、道德的方式开发的,"数字权利倡导组织负责人表示。

家长与监护人的角色

随着AI聊天机器人的普及,家长和监护人在监督青少年使用这些技术方面扮演着关键角色。专家建议家长:

  1. 了解孩子使用的AI应用及其潜在风险
  2. 与孩子开放讨论AI互动的适当界限
  3. 教育孩子识别和报告不当内容
  4. 考虑使用家长控制工具限制使用时间和内容

未来展望

Character.AI的决定可能会引发整个行业对年龄限制和安全措施的重新评估。随着AI技术的不断发展,我们可能会看到更多平台采取类似措施,以保护年轻用户。

同时,这也为AI教育应用的发展创造了机会,这些应用可以在安全的环境中为青少年提供学习体验和情感支持,而不存在与开放式聊天机器人相关的风险。

结论

Character.AI因青少年死亡案件而实施年龄限制的决定,反映了AI聊天机器人行业面临的重要安全挑战。这一事件提醒我们,随着AI技术越来越深入地融入日常生活,科技公司必须优先考虑用户安全,特别是对最脆弱的年轻用户群体。

随着监管框架的逐步完善和行业自律的加强,我们有望看到AI聊天机器人技术在确保安全的前提下,继续为用户带来价值和便利。然而,这需要科技公司、监管机构、家长和教育工作者之间的持续合作,共同创造一个既创新又安全的AI环境。