AI“烟幕”：警察最爱的AI工具自动删除使用证据？
警惕！AI警务工具或成逃避问责的帮凶
近日，电子前沿基金会（EFF）发布了一份深度调查报告，矛头直指一种名为“Draft One”的AI警务报告生成工具。该报告的核心论点是，这款由Axon公司开发的工具在设计上存在严重缺陷，几乎无法进行审计，这可能为警察在作证时提供便利，掩盖真相，甚至允许他们逃避法律责任。
“Draft One”于去年夏天在科罗拉多州的一个警察部门首次亮相，它利用ChatGPT的变体，根据执法记录仪的音频生成初步的警务报告。按照设计，警察应该对这些AI生成的报告进行编辑，纠正错误，评估潜在的偏见，并补充关键的背景信息。然而，EFF的调查发现，这款工具的实际运作方式“似乎旨在阻挠任何形式的审计、透明度和问责”。
报告指出，并非所有部门都要求警察披露AI的使用情况，而且“Draft One”不会保存报告的草稿，也不会保留任何记录显示报告的哪些部分是由AI生成的。更令人担忧的是，各部门通常不会保留不同版本的草稿，这使得公众难以评估AI报告的准确性，也无法判断这项技术是否真的可靠。正如EFF所质疑的：“为什么一个机构不希望维护一份可以证明技术准确性的记录呢？”
难以追踪的修改痕迹
EFF进一步指出，目前很难确定警察是在认真编辑AI生成的报告，还是仅仅“反射性地盖章批准，以便尽快完成任务”。Axon公司曾向至少一个警察部门承认，他们的工程师发现了一个漏洞，该漏洞允许警察在至少三个场合绕过“护栏”，直接提交AI生成的报告，而无需事先阅读。
此外，这款AI工具还可能“过度解读音频”，错误地理解俚语，或者添加从未发生过的背景信息。EFF认为，一个“主要担忧”是AI报告可能为警察提供“烟幕”，使他们能够通过将报告中的“偏见、不准确、误解或谎言”归咎于AI工具，来逃避在法庭上作伪证的后果。
EFF警告说：“没有记录显示罪魁祸首是警察还是AI，这使得评估该系统如何影响司法结果变得极其困难，甚至是不可能的。”
“贴心”的设计：为客户规避法律风险？
根据EFF的说法，“Draft One”的设计“似乎是为了避免可能向公众提供任何问责的审计”。EFF在一场圆桌讨论的视频中发现，Axon公司的一位高级首席产品经理吹嘘“Draft One”的草稿消失功能，解释说：“我们不存储原始草稿，这是经过设计的，真正的原因是我们最不想做的事情是为我们的客户和律师事务所制造更多的披露难题。”
EFF认为，这实际上意味着Axon公司最不希望“警察必须向任何人（比如法官、辩护律师或民权非营利组织）提供这些数据”。
EFF强调：“为了服务和保护公众利益，必须持续和积极地评估AI输出，无论何时何地使用它。但Axon公司故意使这项工作变得困难。”
呼吁全国范围的监督
EFF正在呼吁在全国范围内开展一项行动，以监督AI生成的警务报告。预计在未来几年内，这些报告将在许多城市得到越来越广泛的应用。EFF还发布了一份指南，旨在帮助记者和其他人提交记录请求，以监控其所在地区警察对AI的使用情况。然而，EFF的调查证实，“不幸的是，获取这些记录并不容易，在许多情况下，这根本是不可能的。”
针对EFF的报告，Axon公司的一位发言人向Ars Technica提供了一份声明：
“Draft One 旨在帮助警官仅根据随身摄像头录音的音频记录起草初步报告，并包含一系列安全措施，包括在关键点强制执行人工决策以及公开其使用情况。与非 Draft One 生成的叙述性报告一样，警官仍然对内容负全部责任。每份报告都必须由人工警官进行编辑、审查和批准，以确保准确性和问责制。Draft One 的设计旨在反映现有的警察叙述流程——长期以来，该流程一直将仅保存和可发现的最终批准报告，而不是警官或主管审查期间所做的临时编辑、添加或删除，作为标准。”
“从第一天起，只要使用 Draft One 生成初始叙述，其使用情况就会存储在 Axon Evidence 不可更改的数字审计跟踪中，机构可以在任何报告中检索该跟踪。默认情况下，每个 Draft One 报告还包括一个可自定义的免责声明，该声明可以根据机构政策出现在报告的开头或结尾。我们最近添加了机构导出 Draft One 使用情况 报告 的能力——显示每个用户生成和提交了多少份草稿——以及运行关于哪些特定证据项目与 Draft One 一起使用的报告，从而进一步支持透明度和监督。Axon 致力于与警察机构、检察官、辩护律师、社区倡导者和其他利益相关者进行持续合作，以收集意见并指导 Draft One 和 AI 技术在司法系统中负责任地发展，包括随着法律的发展而做出的改变。”
“警察不应该使用AI”
EFF的高级政策分析师Matthew Guariglia表示，由于预计Axon公司的这款工具可能会迅速普及（它被宣传为一种省时的附加服务，面向已经依赖Axon公司的泰瑟枪和随身摄像头的警察部门），因此EFF迅速制定了一项计划来追踪这项新技术的应用情况。
今年春天，EFF向数十个据信正在使用“Draft One”的警察部门发送了公共记录请求。为了撰写这些请求，他们还审查了Axon公司的用户手册和其他材料。
在一份新闻稿中，EFF证实，调查“发现该产品提供的监督功能很少”，包括一个实际上毫无用处的“审计日志”功能，这似乎与警察部门围绕数据保留的规范相矛盾。
或许最引人注目的是，Axon公司的工具不允许各部门“导出一份所有使用过“Draft One”的警察名单”，甚至不允许“导出一份由“Draft One”创建的所有报告的列表，除非该部门已经定制了其流程”。相反，Axon公司只允许导出显示在特定报告上采取的行动或单个用户的基本活动（如登录和上传）的基本日志。这使得“即使是最基本的统计分析（有多少警察正在使用这项技术，以及他们使用的频率）也几乎不可能进行”。
EFF发现，任何试图进行数据分析的努力都将非常耗时。在某些部门，可以查找单个警察的记录以确定他们何时使用了“Draft One”，但这“可能意味着梳理数十个、数百个，或者在某些情况下，数千个单独的用户日志”。考虑到“任何给定机构生成的报告数量之多”，逐个报告地进行分类也需要花费同样“大量的时间”。
在某些司法管辖区，警察必须披露何时使用AI生成报告。EFF发现，有些部门确实要求这样做，这使得这些文件更容易搜索，并反过来使一些警察部门更有可能在不收取过高费用或要求大量延误的情况下回应公共记录请求。但是，印第安纳州的至少一个部门告诉EFF，“我们无法创建一份通过“Draft One”创建的报告列表。它们是无法搜索的。”
EFF报告称，虽然不是每个警察都能搜索他们的“Draft One”报告，但Axon公司可以，这表明该公司可以比警察自己更好地跟踪警察对该工具的使用情况。
EFF希望其报告能够遏制人们对不透明的AI生成警务报告日益增长的依赖。Guariglia告诉Ars Technica，如果不加以干预，这种情况可能会在美国警务中变得更加普遍。
在加利福尼亚州，一些警察长期以来一直在使用“Draft One”，目前已经提出一项法案，要求澄清警务报告的哪些部分是由AI生成的。如果该法律获得通过，它还将“要求将创建的第一个草稿保留与最终报告相同的保留时间”，Guariglia告诉Ars Technica，这将使“Draft One”按照目前的设计自动变为非法。EFF指出，犹他州正在权衡一项类似但不太强硬的倡议。
Guariglia告诉Ars Technica，EFF已经与一些辩护律师进行了交谈，他们担心AI生成的警务报告的扩散“将如何影响交叉询问”，因为它可能会在警察被指控在法庭上撒谎时给他们提供一个简单的替罪羊。
为了完全避免这个问题，华盛顿州金县的至少一个地方检察官办公室已经禁止使用AI警务报告，理由是“对市场上的一些产品存在合理的担忧”。Guariglia告诉Ars Technica，地方检察官最关心的问题之一是，使用AI工具可能会“危及案件”。EFF现在敦促“其他检察官效仿，并要求其管辖范围内的警察不要释放这种新的、不负责任的且故意不透明的AI产品”。
Guariglia说：“警察不应该使用AI来撰写警务报告。关于AI将如何翻译情况的音频，警察是否会真正编辑这些草稿，以及公众是否能够分辨哪些是人写的，哪些是电脑写的，都还有太多的问题没有得到解答。这甚至还没有涉及到这些报告可能如何在已经不公平和不透明的刑事司法系统中导致问题的问题。”
本报道已更新，包含Axon公司的声明。
