AI“烟幕”：警察最爱的AI工具自动删除使用证据
人工智能警务工具旨在逃避问责，监管机构表示。
随着人工智能技术在执法领域的应用日益广泛，一种名为“Draft One”的AI警务工具引发了广泛的争议。这款由Axon公司开发的工具，旨在通过自动生成警务报告来提高效率，但其设计上的缺陷却可能成为逃避问责的“烟幕”。
EFF的深度调查
电子前沿基金会（EFF）发布了一份详尽的调查报告，揭露了Draft One在透明度和问责方面的严重问题。该报告指出，这款AI工具的设计使得对其进行审计几乎不可能，这可能会让警察更容易在宣誓后撒谎。Draft One依赖于ChatGPT的变体，根据执法记录仪的音频生成警务报告。警察本应编辑这些报告以纠正错误、评估AI输出的偏差，并添加关键背景信息，但实际情况却令人担忧。
EFF的调查发现，Draft One的设计似乎旨在阻止任何形式的审计、透明度和问责。警察不必在每个部门都披露AI的使用情况，而且Draft One不保存草稿，也不保留显示报告哪些部分是AI生成的记录。各部门也不保留不同版本的草稿，这使得评估一个AI报告版本与另一个版本之间的差异变得困难，公众也难以确定该技术是否“垃圾”。
EFF质疑：“为什么一个机构不希望维护一份可以证明该技术准确性的记录？”
潜在的滥用风险
目前，我们很难知道警察是否在认真编辑报告，还是仅仅“下意识地批准草稿以尽快完成”。更令人担忧的是，Axon公司曾向至少一个警察部门透露，工程师发现了一个漏洞，该漏洞允许警官至少在三个场合绕过“安全措施”，这些安全措施本应阻止警官在未阅读AI生成的报告的情况下提交报告。
这款AI工具还可能“过度解释音频”，错误地理解俚语或添加从未发生的背景信息。EFF认为，一个“主要担忧”是，AI报告可能给警察提供“烟幕”，甚至允许他们通过将报告中的“偏见语言、不准确之处、错误解释或谎言”归咎于AI工具来逃避在法庭上撒谎的后果。
“没有任何记录显示罪魁祸首是警官还是AI，”EFF表示。“这使得评估该系统如何长期影响司法结果变得极其困难，甚至是不可能的。”
Axon的回应与争议
根据EFF的说法，Draft One“似乎是故意设计成避免可能向公众提供任何问责的审计”。在EFF审查的一个圆桌讨论视频中，Axon公司负责生成式AI的高级首席产品经理吹嘘Draft One的消失草稿是一项功能，解释说：“我们不存储原始草稿，这是经过设计的，这实际上是因为我们最不想做的事情是为我们的客户和我们的律师事务所制造更多的披露难题。”
EFF对此的解读是，Axon“最不希望”的是警察必须向任何人（比如法官、辩护律师或民权非营利组织）提供这些数据。“为了服务和保护公众利益，每当使用AI输出时，都必须持续且积极地对其进行评估，”EFF表示。“但Axon故意使这变得困难。”
EFF呼吁在全国范围内监测AI生成的警察报告，预计这些报告将在未来几年内在许多城市得到越来越广泛的应用，并发布了一份指南，以帮助记者和其他人提交记录请求，以监测警察在其地区的使用情况。但“不幸的是，获得这些记录并不容易，”EFF的调查证实。“在许多情况下，这根本是不可能的。”
Axon发言人向Ars提供了一份声明：
Draft One 帮助警官严格根据随身摄像头录音的音频记录起草初步报告，并包含一系列保障措施，包括在关键点上强制进行人工决策以及使用的透明度。与非 Draft One 生成的叙述性报告一样，警官仍然对内容负全部责任。每份报告都必须由人工警官编辑、审查和批准，以确保准确性和问责性。Draft One 的设计旨在反映现有的警察叙述流程——长期以来，只有最终批准的报告才会被保存和发现，而不是警官或主管审查期间所做的临时编辑、添加或删除。
从第一天起，每当使用 Draft One 生成初始叙述时，其使用情况都会存储在 Axon Evidence 的不可更改的数字审计跟踪中，机构可以在任何报告中检索该跟踪。默认情况下，每份 Draft One 报告还包括一个可定制的免责声明，该声明可以根据机构政策出现在报告的开头或结尾。我们最近添加了机构导出 Draft One 使用情况 报告 的功能——显示每个用户生成和提交了多少草稿——并运行关于哪些特定证据项目与 Draft One 一起使用的报告，进一步支持透明度和监督。Axon 致力于与警察机构、检察官、辩护律师、社区倡导者和其他利益相关者持续合作，以收集意见并指导 Draft One 和 AI 技术在司法系统中负责任的演变，包括随着法律的发展而进行变更。
争议的焦点
EFF的高级政策分析师Matthew Guariglia表示，由于Axon的工具可能会迅速传播（作为一种省时的附加服务，推销给已经依赖Axon的泰瑟枪和随身摄像头的警察部门），EFF迅速制定了一项计划来跟踪这项新技术的采用情况。今年春天，EFF向数十个据信正在使用Draft One的警察部门发送了公开记录请求。为了起草这些请求，他们还审查了Axon用户手册和其他材料。
在一份新闻稿中，EFF证实，调查“发现该产品提供的监督功能微乎其微”，包括一个实际上无用的“审计日志”功能，这似乎与警察围绕数据保留的规范相矛盾。也许最引人注目的是，Axon的工具不允许部门“导出所有使用Draft One的警察名单”，甚至不允许“导出所有由Draft One创建的报告的名单，除非该部门已经定制了其流程”。相反，Axon只允许导出显示在特定报告上采取的行动或单个用户在系统中的基本活动（如登录和上传）的基本日志。这使得“即使是最基本的统计分析也几乎不可能进行：有多少警官正在使用该技术以及他们使用的频率有多高”，EFF表示。
EFF发现，任何努力计算这些数字都需要花费大量时间。在一些部门，可以查找个别警察的记录以确定他们何时使用了Draft One，但这“可能意味着梳理数十个、数百个或在某些情况下数千个单独的用户日志”。考虑到任何给定机构“生成的报告数量之多”，逐个报告地进行分类也需要花费类似的“大量时间”，EFF指出。
在一些司法管辖区，警察必须披露何时使用AI生成报告。EFF发现，一些部门要求这样做，这使得这些文件更容易搜索，反过来也使得一些警察部门更有可能在不收取过高费用或要求大量延误的情况下回应公开记录请求。但印第安纳州的至少一个部门告诉EFF，“我们无法创建通过Draft One创建的报告列表。它们无法搜索。”
EFF报告称，虽然并非每个警察都能搜索他们的Draft One报告，但Axon可以，这表明该公司可以比警察自己更好地跟踪警察使用该工具的频率。EFF希望其报告能够遏制对阴暗的AI生成的警察报告的日益依赖，Guariglia告诉Ars，如果没有干预，这种情况可能会在美国警务中变得更加普遍。
在加利福尼亚州，一些警察长期以来一直在使用Draft One，该州已经提出一项法案，要求澄清警察报告的哪些部分是AI生成的。如果该法律获得通过，还将“要求将创建的第一个草稿保留与最终报告一样长的时间”，Guariglia告诉Ars，这将使Draft One按照目前的设计自动变为非法。EFF指出，犹他州正在考虑一项类似但不太强硬的倡议。
Guariglia告诉Ars，EFF已经与公共辩护律师进行了交谈，他们担心AI生成的警察报告的扩散将“如何影响交叉询问”，因为它可能会让警察在被指控在法庭上撒谎时有一个简单的替罪羊。
为了避免这个问题，华盛顿州金县的至少一个地方检察官办公室已经禁止使用AI警察报告，理由是“对市场上的一些产品存在合理的担忧”。Guariglia告诉Ars，地方检察官最关心的问题之一是，使用AI工具可能会“危及案件”。EFF现在敦促“其他检察官效仿，并要求其管辖范围内的警察不要释放这种新的、不负责任的和故意不透明的AI产品”。
Guariglia说：“警察不应该使用AI来撰写警察报告。”“关于AI将如何翻译情况的音频，警察是否会真正编辑这些草稿，以及公众是否能够分辨出什么是人写的，什么是计算机写的，还有太多的问题没有得到解答。这甚至在我们开始讨论这些报告可能如何导致已经不公平和不透明的刑事司法系统出现问题之前。”
