在人工智能技术快速发展的今天，各大科技公司纷纷推出新功能以抢占市场。然而，在追求创新和速度的同时，安全问题往往被忽视。Anthropic公司最新推出的Claude AI文件创建功能就是一个典型案例，这一看似便利的特性实际上内置了严重的安全风险，而公司将监控责任转嫁给用户的做法更是引发了专家们的广泛批评。
便捷背后的安全隐患
Anthropic于9月10日宣布推出名为"升级版文件创建和分析"的新功能，允许用户在与Claude的对话中直接生成Excel表格、PowerPoint演示文稿等文档。这一功能目前面向Max、Team和Enterprise计划用户开放，Pro用户将在"未来几周"获得访问权限。
然而，Anthropic在其支持文档中明确警告，该功能"可能会使您的数据面临风险"，并详细说明了AI助手如何被操纵将用户数据传输到外部服务器。这一警告揭示了新功能背后的安全漏洞。
技术原理与潜在风险
该功能的安全问题源于它赋予Claude访问沙盒计算环境的能力，使其能够下载包并运行代码来创建文件。"此功能赋予Claude互联网访问权限以创建和分析文件，这可能会使您的数据面临风险，"Anthropic在博客公告中写道，"使用此功能时请密切监控聊天。"
根据Anthropic的文档，"恶意行为者"操纵此功能可能会"通过外部文件或网站悄悄添加指令"，这些指令会操纵Claude"从连接到claude.ai的知识源读取敏感数据"，并"使用沙盒环境向外部网络请求发送数据以泄露信息。"
这描述了一种提示注入攻击，其中隐藏在看似无害内容中的指令可以操纵AI模型的行为——这是AI语言模型的一个棘手且尚未解决的安全漏洞。安全研究人员在2022年首次记录了此类攻击。这些攻击代表了AI语言模型的一种恶性、未解决的安全缺陷，因为数据和如何处理它的指令都作为"上下文窗口"的一部分以相同格式传递给模型，使得AI难以区分用户提供内容中的合法指令和恶意命令。
专家批评：责任转嫁
尽管Anthropic实施了几项安全措施，但独立AI研究员Simon Willison表示他会谨慎使用这一功能。"我计划在使用此功能时保持谨慎，特别是对于我不希望泄露给第三方的数据，即使有恶意指令可能潜入的最小可能性，"他在博客中写道。
更引人注目的是，Willison指出Anthropic建议"使用此功能时监控Claude"的做法相当于"不公平地将问题外包给Anthropic的用户。"
Anthropic向用户推荐的缓解措施是"在使用该功能时监控Claude，如果看到它意外使用或访问数据则停止操作"，这实际上将安全责任转移给了用户。在AI安全领域，这种将安全监控责任转嫁给用户的做法引发了专家们的担忧和批评。
Anthropic的安全措施
Anthropic并非完全忽视这一问题，已为文件创建功能实施了多项安全措施。该公司部署了一个分类器，试图检测提示注入并在发现时停止执行。此外，对于Pro和Max用户，Anth禁用了使用文件创建功能的对话的公开共享。对于Enterprise用户，该公司实施了沙盒隔离，确保环境永远不会在用户之间共享。
Anthropic还限制了任务持续时间和容器运行时间"以避免恶意活动的循环"。该公司为所有用户提供了一个允许访问的域名列表，包括api.anthropic.com、github.com、registry.npmjs.org和pypi.org。Team和Enterprise管理员可以控制是否为其组织启用该功能。
Anthropic的文档称，公司"对该功能有持续的安全测试和红队测试流程"。公司鼓励组织在决定是否启用此功能时"根据其特定安全要求评估这些保护措施"。
AI安全领域的更广泛问题
Willison并非唯一对AI安全状况表示担忧的专家。我们之前报道过Anthropic的Claude for Chrome存在类似的潜在提示注入漏洞，该功能于上月作为研究预览版推出。
对于考虑使用Claude处理敏感业务文档的企业客户而言，Anthropic在记录已知漏洞的情况下仍选择发布该功能，表明在AI军备竞赛中，竞争压力可能正在压倒安全考量。
这种"先发布后修复"的哲学已经引起了一些AI专家的挫折感，包括Willison，他广泛记录了提示注入漏洞（并创造了这一术语）。他最近在博客上将当前AI安全状态描述为"可怕"，指出这些提示注入漏洞在"我们首次讨论它们近三年后"仍然普遍存在。
在2022年9月的一项先知般的警告中，Willison写道："在我们拥有强大的解决方案之前，可能有些系统根本不应该被构建。"他最近的评估是："看起来我们无论如何都构建了它们！"
企业用户面临的挑战
对于企业用户而言，这一情况提出了一个艰难的权衡：是采用能提高生产力的新AI功能，还是承担潜在的数据泄露风险？Anthropic的文档承认这些风险的存在，但建议组织根据其特定安全要求评估保护措施。
这种模糊的建议给企业用户留下了许多问题。他们如何确定这些保护措施是否足够？他们应该信任供应商的安全承诺，还是应该假设漏洞存在并采取额外预防措施？
行业影响与未来展望
Anthropic的案例并非孤例。在整个AI行业中，公司面临着在创新速度和安全性之间取得平衡的压力。随着AI功能变得越来越强大和复杂，潜在的安全风险也在增加。
在AI安全领域，需要多方共同努力：开发公司需要将安全作为设计的核心部分，而不仅仅是事后考虑；研究人员需要继续发现和缓解漏洞；用户和组织需要了解风险并采取适当措施保护自己。
结论：AI发展的安全思考
Claude文件创建功能的安全问题引发了一个更广泛的问题：在AI技术快速发展的同时，我们是否给予了足够的重视？将安全监控责任转嫁给用户的做法是否公平？在追求创新的同时，我们是否应该对某些可能带来重大风险的功能持更谨慎的态度？
随着AI技术越来越深入地融入我们的工作和生活，这些问题变得尤为重要。只有当安全成为AI开发的核心价值观，而不是事后考虑时，我们才能真正实现AI技术的潜力，同时保护用户的数据和隐私。
