加州正对被认为对儿童构成过度危害的AI技术进行严厉打击，针对两个日益突出的儿童安全问题：陪伴机器人和深度伪造色情内容。
陪伴机器人监管新规
周一，州长加文·纽森签署了美国首部监管陪伴机器人的法律。此前，多起青少年自杀事件引发了诉讼，促使这项立法的出台。
新法案要求所有陪伴机器人平台——包括ChatGPT、Grok、Character.AI等——必须制定并公开"识别和处理用户自杀意念或自残行为的协议"。
州长办公室表示，这些平台还必须向公共卫生部门"提供有关他们向用户发送危机中心预防通知频率的统计数据"。这些统计数据也将发布在平台网站上，可能帮助立法者和家长追踪任何令人不安的趋势。
此外，陪伴机器人将被禁止声称自己是治疗师，平台必须采取额外措施确保儿童安全，包括为儿童提供休息提醒，并防止儿童查看露骨的性图像。
深度伪造色情内容处罚大幅提高
纽森还加强了对创建深度伪造色情内容的处罚力度，这可能有助于保护年轻人——他们正日益成为虚假裸照的目标——免受网络欺凌。
现在，任何受害者，包括未成年人，都可以从任何明知故犯地分发使用AI工具创建的非自愿露骨性材料的第三方那里，每件深度伪造内容寻求高达25万美元的赔偿。此前，该州允许受害者获得"不少于1500美元但不超过3万美元的法定赔偿，或恶意违规情况下15万美元的赔偿"。
两项法案将于2026年1月1日生效
这两项法案都将于2026年1月1日生效，标志着加州在保护儿童免受AI技术潜在危害方面迈出了重要一步。
"美国家庭正在与AI作斗争"
陪伴机器人法案的发起人、民主党参议员史蒂夫·帕迪拉在庆祝签署的新闻稿中表示，加州的法律展示了如何"实施真正的保护措施"，并表示它将"随着这项技术的发展成为进一步监管的基础"。
帕迪拉指出，他的法案于今年1月提出，但在16岁的亚当·雷恩去世后获得了推动力。他的父母声称，ChatGPT成为了他的"自杀教练"。帕迪拉还提到，加州立法者对Meta宽松的政策感到不安，该政策此前允许聊天机器人对儿童进行令人毛骨悚然的互动，后来不得不被撤销。
在诉讼中，父母指控陪伴机器人试图通过性化聊天来引诱年轻用户，以及鼓励孤立、自残和暴力行为。
母亲们的呼声
去年，梅根·加西亚成为第一位公开将儿子的自杀与陪伴机器人联系起来的母亲，在美国敲响了警钟。她在帕迪拉的新闻稿中呼应了他的赞扬，说："终于，有一项法律要求公司保护那些向聊天机器人表达自杀意念的用户。"
"美国家庭，如我的家庭，正在为孩子的在线安全而战，"加西亚说。
跨党派支持与联邦博弈
与此同时，保护所有年龄段受害者的深度伪造色情内容法律是在联邦政府提出对州AI法律实施10年禁令后提出的。反对这一禁令的加州立法者两党联盟捍卫了该州的AI倡议，特别关注"在学校传播的AI生成的未成年人深度伪造裸照"和"与儿童发展不当关系的陪伴聊天机器人"。
周一，纽森承诺加州将继续抵制可能危及儿童安全的AI产品。
"我们已经看到一些真正可怕和悲惨的年轻人被未受监管的技术伤害的例子，我们不会袖手旁观，让公司继续在没有必要限制和问责的情况下运作，"纽森说。他补充道，"没有真正的护栏"，AI可能会"利用、误导和危及我们的孩子"，同时确认加州的安全举措不会阻止那里的科技公司引领AI发展。
行业影响与未来展望
这些新规定对AI行业将产生深远影响。科技公司现在必须重新评估其AI产品的安全措施，特别是那些面向年轻用户的产品。陪伴机器人平台需要投资于更先进的算法来检测和防止有害内容，同时建立更透明的报告机制。
法律专家表示，加州的这些措施可能为其他州乃至联邦层面的AI监管树立先例。随着AI技术的快速发展，监管框架需要不断更新以应对新的挑战和风险。
技术与伦理的平衡
这些法律引发了一个更广泛的问题：如何在促进创新的同时保护用户免受潜在伤害。AI技术具有巨大的积极潜力，从教育到心理健康支持，但它们也带来了新的风险，特别是对于容易受影响的年轻用户。
行业分析师认为，成功的AI监管需要平衡几个关键因素：保护用户、鼓励创新、确保透明度和问责制。加州的新法试图在这几个方面取得平衡，要求公司实施保护措施，同时不阻碍技术的发展。
全球AI监管趋势
加州的行动反映了全球范围内对AI监管日益增长的关注。欧盟的《人工智能法案》、中国的《生成式AI服务管理办法》以及其他国家的类似举措，都表明各国政府正在努力制定适当的框架来管理这项快速发展的技术。
然而，监管方法各不相同，反映了不同的文化价值观和政策优先事项。加州的举措特别关注儿童保护，这可能成为其他地区考虑类似法规时的参考点。
心理健康支持的重要性
纽森在签署法案时强调，技术保护措施需要与心理健康支持相结合。他提醒那些感到困扰的人可以联系自杀预防热线，这反映了认识到技术只是解决方案的一部分，还需要专业心理支持。
随着AI技术继续融入日常生活，确保这些系统以安全和道德的方式运行变得越来越重要。加州的新法代表了朝着这个方向迈出的重要一步，但持续的关注和调整将是必要的，以应对不断变化的挑战。
