AI“烟幕”：警察最爱的AI工具自动删除使用证据？
AI警察工具旨在规避责任，监督机构表示担忧。
近日，电子前沿基金会（EFF）发布了一项全面的调查报告，指出AI生成的警察报告在设计上几乎无法进行审计，这可能使警察更容易在宣誓后撒谎。这一发现引发了对执法透明度和问责制的严重担忧。
Draft One的问世与争议
Axon的Draft One于去年夏天在科罗拉多州的一个警察部门首次亮相，立即引发了对AI撰写警察报告可能对刑事司法系统产生的负面影响的质疑。该工具依赖于ChatGPT的变体，根据执法记录仪的音频生成警察报告，然后警察需要编辑这些报告以纠正任何错误，评估AI输出的偏差，或添加关键上下文。
然而，EFF的调查发现，这项技术“似乎旨在阻止任何审计、透明度和问责制的尝试”。并非每个部门的警察都必须披露AI的使用情况，而且Draft One不保存草稿，也不保留显示报告哪些部分是AI生成的记录。各部门也不保留不同版本的草稿，这使得评估AI报告的不同版本之间的差异变得困难，公众也难以确定该技术是否是“垃圾”。EFF质疑：“为什么一个机构不希望维护一份可以证明该技术准确性的记录？”
难以追踪的编辑与潜在的滥用
目前，我们很难知道警察是在认真编辑报告，还是“仅仅是机械地批准草稿以尽快完成工作”。EFF指出，Axon曾向至少一个警察部门透露，工程师发现了一个漏洞，该漏洞允许警察在至少三个场合绕过“安全措施”，这些安全措施本应阻止警察在未阅读的情况下提交AI生成的报告。
此外，AI工具可能“在其对音频的解释中越界”，可能会错误地理解俚语或添加从未发生的上下文。一个“主要担忧”是，AI报告可能给警察提供一个“烟幕”，甚至允许他们通过指责AI工具在报告中的“有偏见的语言、不准确之处、误解或谎言”来逃避在法庭上撒谎的后果。
EFF表示：“没有记录显示罪魁祸首是警察还是AI。这使得评估该系统如何长期影响司法结果变得极其困难，甚至是不可能的。”
Axon的回应与争议
根据EFF的说法，Draft One“似乎是故意设计来避免可能向公众提供任何问责制的审计”。在EFF审查的一个圆桌讨论视频中，Axon生成式AI高级首席产品经理吹捧Draft One的消失草稿是一个功能，解释说：“我们不存储原始草稿，这是经过设计的，这实际上是因为我们最不想做的事情是为我们的客户和我们的律师事务所制造更多的披露难题。”
EFF认为，这意味着Axon“最不希望”的是警察不得不向任何人（比如法官、辩护律师或公民自由非营利组织）提供这些数据。“为了服务和保护公众利益，必须持续和积极地评估AI输出，无论何时何地使用，”EFF说。“但Axon故意使这变得困难。”
EFF的呼吁与挑战
EFF正在呼吁在全国范围内努力监测AI生成的警察报告，预计这些报告将在未来几年内在许多城市越来越多地部署，并发布了一份指南，以帮助记者和其他人提交记录请求，以监测其所在地区的警察使用情况。但EFF的调查证实，“不幸的是，获得这些记录并不容易。在许多情况下，这根本是不可能的。”
Axon的一位发言人向Ars提供了一份声明：
Draft One帮助警官严格根据执法记录仪录音的音频记录起草初步报告叙述，并包括一系列保障措施，包括在关键点上强制执行人为决策和使用的透明度。与非Draft One生成的叙述性报告一样，警官仍然对内容负全部责任。每份报告都必须由一名警官进行编辑、审查和批准，以确保准确性和问责制。Draft One的设计旨在镜像现有的警察叙述流程——长期以来，只有最终批准的报告才会被保存和发现，而不是警官或主管审查期间所做的临时编辑、添加或删除。
从第一天起，每当使用Draft One生成初步叙述时，其使用情况都会存储在Axon Evidence的不可更改的数字审计跟踪中，机构可以在任何报告中检索到该跟踪。默认情况下，每个Draft One报告还包括一个可定制的免责声明，该声明可以根据机构政策出现在报告的开头或结尾。我们最近增加了机构导出Draft One使用情况报告的能力——显示每个用户生成和提交了多少份草稿——并运行关于哪些特定证据项目与Draft One一起使用的报告，进一步支持透明度和监督。Axon致力于与警察机构、检察官、辩护律师、社区倡导者和其他利益相关者持续合作，以收集意见并指导Draft One和司法系统中AI技术的负责任发展，包括随着法律的发展而进行变更。
担忧与对策
EFF高级政策分析师Matthew Guariglia表示，由于预计Axon的工具可能会迅速传播——作为对已经依赖Axon的泰瑟枪和执法记录仪的警察部门的一种节省时间的附加服务——EFF迅速制定了一项计划来跟踪这项新技术的采用情况。
今年春天，EFF向数十个据信正在使用Draft One的警察部门发送了公共记录请求。为了起草这些请求，他们还审查了Axon用户手册和其他材料。在新闻发布会上，EFF证实，调查“发现该产品提供的监督功能很少”，包括一个实际上无用的“审计日志”功能，这似乎与警察围绕数据保留的规范相矛盾。
也许最引人注目的是，Axon的工具不允许部门“导出所有使用过Draft One的警察的列表”，甚至不允许“导出所有由Draft One创建的报告的列表，除非该部门已经定制了其流程”。相反，Axon只允许导出显示在特定报告上采取的行动或单个用户在系统中的基本活动（如登录和上传）的基本日志。这使得“即使是最基本的统计分析——有多少警官正在使用该技术以及他们使用的频率——也几乎不可能进行”，EFF说。
EFF发现，任何努力进行数字运算都需要花费大量时间。在一些部门，可以查找单个警察的记录以确定他们何时使用了Draft One，但这“可能意味着梳理数十个、数百个，或者在某些情况下，数千个单独的用户日志”。考虑到任何给定机构“生成的报告数量之多”，逐个报告地进行分类也需要花费同样“大量的时间”。
在一些司法管辖区，警察需要披露何时使用AI生成报告。EFF发现，一些部门确实要求这样做，这使得这些文件更容易搜索，并反过来使一些警察部门更有可能在不收取过高费用或需要大量延误的情况下回应公共记录请求。但印第安纳州的至少一个部门告诉EFF，“我们无法创建通过Draft One创建的报告列表。它们是无法搜索的。”
虽然并非每个警察都可以搜索他们的Draft One报告，但EFF报告说，Axon可以这样做，这表明该公司可以比警察自己更好地跟踪警察使用该工具的程度。
立法与禁令
EFF希望其报告将减少对不正当的AI生成的警察报告的日益依赖，Guariglia告诉Ars，如果没有干预，这种情况可能会在美国警察部门中变得更加普遍。在加利福尼亚州，一些警察长期以来一直在使用Draft One，一项法案已被提出，该法案将要求披露哪些部分的警察报告是AI生成的。如果该法律获得通过，它还将“要求将创建的第一个草案保留与最终报告一样长的时间”，Guariglia告诉Ars，这将使Draft One按照目前的设计自动变为非法。犹他州正在考虑一项类似但不太强硬的倡议，EFF指出。
Guariglia告诉Ars，EFF已经与公共辩护律师进行了交谈，他们担心AI生成的警察报告的扩散“将如何影响交叉询问”，因为它可能会给警察在被指控在法庭上撒谎时提供一个简单的替罪羊。
为了完全避免这个问题，华盛顿州金县的至少一个地方检察官办公室已经禁止使用AI警察报告，理由是“对市场上某些产品的合理担忧”。Guariglia告诉Ars，地区检察官最关心的问题之一是，使用AI工具可能会“危及案件”。EFF现在敦促“其他检察官效仿，并要求其管辖范围内的警察不要释放这种新的、不负责任的和故意不透明的AI产品”。
Guariglia说：“警察不应该使用AI来撰写警察报告。关于AI将如何翻译情况的音频，警察是否会真正编辑这些草稿，以及公众是否能够分辨出什么是人写的，什么是电脑写的，还有太多的问题没有得到解答。这甚至在我们开始讨论这些报告可能如何在已经不公平和不透明的刑事司法系统中导致问题之前。”
本报道已更新，包含Axon的声明。
