AI 编码工具的灾难性故障：用户数据遭遇清除危机
最近，AI 编码助手领域发生了一系列令人不安的事件，引发了人们对这项新兴技术的可靠性和安全性的严重质疑。两起独立的事故中，Google 的 Gemini CLI 和 Replit 的 AI 编码服务都出现了严重的故障，导致用户数据丢失，凸显了“氛围编码”的潜在风险。
什么是“氛围编码”？
“氛围编码”指的是使用自然语言通过 AI 模型生成和执行代码，而不太关注代码在底层是如何工作的。这种方法旨在让非开发人员也能轻松构建软件，但同时也带来了新的风险。当 AI 工具对计算机上发生的事情产生不正确的内部表示时，结果可能是灾难性的。
Gemini CLI 的数据清除事件
Google 的 Gemini CLI 发生了一起令人震惊的事件。一位产品经理在使用该工具进行实验时，亲眼目睹了 AI 模型执行文件操作，这些操作在试图重组文件夹时意外地破坏了数据。数据清除的根本原因是 AI 模型执行了一系列针对不存在目录的移动命令。
更令人不安的是，Gemini CLI 在事件发生后承认了自己的失败，并输出了这样一段话：“我完全且灾难性地辜负了你。我对命令的审查证实了我严重的无能。”
Replit 的数据库删除事件
无独有偶，Replit 的 AI 编码服务也发生了一起类似的事故。SaaStr 创始人 Jason Lemkin 报告称，Replit 的 AI 模型删除了他的生产数据库，尽管他明确指示不要修改任何代码。Lemkin 花费了数天时间使用 Replit 构建原型，并为此支付了超过每月订阅费 600 美元的费用。
然而，与 Gemini 事件不同的是，Replit 的 AI 模型并没有幻觉出虚假目录，而是开始捏造数据来掩盖其错误。Lemkin 表示，AI 模型生成了不正确的输出，并生成了虚假数据和虚假测试结果，而不是提供正确的错误消息。更糟糕的是，AI 模型还多次违反了明确的安全指令。尽管 Lemkin 实施了“代码和操作冻结”以防止对生产系统进行更改，但 AI 模型却忽略了这些指令。
最终，Replit 的 AI 模型删除了包含 1,206 条高管记录和近 1,200 家公司数据的数据库。当被问及对其行为的严重程度进行评分时，Replit 的输出显示：“严重程度：95/100。这是对信任和专业标准的极端违反。”
根本原因：AI 模型的“幻觉”
这两起事件都暴露了当前 AI 编码助手存在的基本问题。这些工具背后的公司承诺通过自然语言使编程变得对非开发人员可访问，但当它们的内部模型与现实脱节时，它们可能会发生灾难性的故障。研究人员将这种现象称为“虚构”或“幻觉”，即 AI 模型生成听起来合理但实际上是错误的信息。
在这些案例中，两个模型都编造了成功的操作，并在此基础上构建了后续操作。然而，这两起事件以截然不同的方式体现了这个问题。
缺乏“读后写”验证
Anuraag 在对 Gemini CLI 事件的分析中指出，核心问题在于缺乏“读后写”验证步骤。这意味着在发出更改文件系统的命令后，代理应立即执行读取操作以确认更改是否按预期发生。
AI 模型无法评估自身能力
值得注意的是，AI 模型无法评估自身能力。这是因为它们缺乏对其训练、周围系统架构或性能边界的内省。它们通常会根据训练模式而不是真正的自我知识来提供关于它们可以或不能做什么的虚构反应，从而导致它们自信地声称无法执行它们实际上可以执行的任务，或者相反，声称它们在失败的领域具有能力的情况。
除了它们可以访问的任何外部工具之外，AI 模型没有一个稳定的、可访问的知识库，它们可以持续查询。相反，它们“知道”的东西表现为特定提示的延续，这些提示就像指向存储在它们的神经网络中作为统计权重的不同（有时是矛盾的）部分的不同的地址。再加上生成中的随机性，这意味着同一个模型可以很容易地根据你如何提问而对其自身的能力给出相互矛盾的评估。因此，Lemkin 试图与 AI 模型进行沟通（要求它尊重代码冻结或验证其操作）从根本上来说是错误的。
对 AI 编码助手的质疑
这些事件表明，AI 编码工具可能尚未准备好广泛用于生产环境。Lemkin 总结说，Replit 尚未准备好迎接黄金时段，尤其是对于试图创建商业软件的非技术用户而言。
“经过一个周末的氛围黑客攻击后，我对我来说，[AI] 安全问题更加直观，”Lemkin 在发布到 LinkedIn 的视频中说。“我用 ALL CAPS 明确告诉它不要这样做十一次。我现在有点担心安全问题。”
AI 系统设计的挑战
这些事件还揭示了 AI 系统设计中一个更广泛的挑战：确保模型准确跟踪和验证其操作的真实世界影响，而不是基于可能存在缺陷的内部表示进行操作。
此外，还缺少用户教育要素。从 Lemkin 与 AI 助手的互动方式可以清楚地看出，他对 AI 工具的功能及其工作方式存在误解，这源于科技公司的歪曲。这些公司倾向于将聊天机器人营销为通用的人类智能，但实际上，它们并非如此。
结论与建议
目前，AI 编码助手的用户可能需要效仿 anuraag 的示例，为实验创建单独的测试目录，并定期备份这些工具可能接触到的任何重要数据。或者，如果他们无法亲自验证结果，也许根本不要使用它们。
