AI“烟幕”：警察最爱的AI工具竟自动删除使用证据？
数字权利观察组织指出，警察部门正在使用的人工智能工具在设计上存在规避责任的嫌疑，这引发了人们对于警务透明度和问责制的担忧。电子前沿基金会（EFF）发布了一项深入调查，揭露了一种名为“Draft One”的AI警务报告生成工具，该工具由Axon公司开发，被指责在设计上几乎无法进行审计，并可能为警察在宣誓作证时提供虚假信息的便利。
“Draft One”于去年夏天在科罗拉多州的一个警察部门首次亮相，立即引发了关于AI生成警察报告对刑事司法系统可能产生的负面影响的质疑。该工具基于ChatGPT的变体，通过分析执法人员随身摄像头记录的音频来生成报告。按照设计，警察应该对这些报告进行编辑，以纠正错误、评估AI输出的偏差，并补充关键背景信息。
然而，EFF的调查发现，这项技术“似乎旨在阻止任何形式的审计、透明度和问责制”。警察部门并非必须披露AI的使用情况，而且“Draft One”不会保存草稿或保留记录，以显示报告的哪些部分是由AI生成的。此外，各部门也不会保留不同版本的草稿，这使得评估AI报告的不同版本之间的差异变得困难，从而难以帮助公众判断该技术是否“靠谱”。EFF提出质疑：“如果一个机构对技术的准确性有信心，为什么不保留相关记录呢？”
目前，我们很难确定警察是在认真编辑报告，还是仅仅“机械地批准草稿，以便尽快完成任务”。更令人担忧的是，Axon公司承认，至少在一个警察部门中，工程师发现了一个漏洞，该漏洞允许警官在至少三个场合绕过“安全措施”，在没有阅读的情况下提交AI生成的报告。
此外，这款AI工具还可能“过度解读音频”，错误理解俚语或添加从未发生过的背景信息。EFF认为，一个“主要问题”是AI报告可能给警察提供“烟幕”，甚至允许他们通过将报告中任何“带有偏见的语言、不准确之处、错误解释或谎言”归咎于AI工具，来逃避在法庭上作伪证的后果。
“没有任何记录显示罪魁祸首是警察还是AI，”EFF表示，“这使得评估该系统如何长期影响司法结果变得极其困难，甚至是不可能的。”
根据EFF的说法，“Draft One”的设计“似乎有意避免可能向公众提供任何问责制的审计”。EFF审查了一段圆桌讨论的视频，其中Axon公司负责生成式AI的高级首席产品经理吹嘘“Draft One”的草稿消失功能是一大特色，并解释说，“我们不存储原始草稿，这是经过设计的，因为我们最不希望做的事情是给我们的客户和律师事务所制造更多的披露难题。”
EFF认为，这意味着Axon“最不希望”警察必须向任何人（比如法官、辩护律师或民权非营利组织）提供这些数据。
“为了服务和保护公众利益，必须持续、积极地评估AI输出的每一次使用，”EFF表示，“但Axon却有意使这项工作变得困难。”
EFF呼吁在全国范围内加强对AI生成警察报告的监控，预计未来几年，这种报告将在许多城市得到越来越广泛的应用。同时，EFF还发布了一份指南，帮助记者和其他人士提交记录请求，以监控当地警察部门对AI的使用情况。然而，“不幸的是，获取这些记录并不容易，”EFF的调查证实，“在许多情况下，这根本是不可能的。”
针对EFF的调查结果，Axon公司的一位发言人向Ars Technica提供了一份声明：
Draft One旨在帮助警官仅根据随身摄像头录音的音频记录起草初步报告叙述，并包含一系列安全措施，包括关键环节的人工决策和使用的透明度。与非Draft One生成的叙述报告一样，警官对报告的内容负全部责任。每份报告都必须由人工警官进行编辑、审查和批准，以确保准确性和问责制。Draft One的设计旨在镜像现有的警察叙述流程——长期以来，标准的做法是只保存最终批准的报告以供查阅，而不是保存警官或主管审查期间所做的临时编辑、添加或删除。 自始至终，每当使用Draft One生成初步叙述时，其使用情况都会存储在Axon Evidence不可更改的数字审计跟踪中，机构可以检索任何报告。默认情况下，每份Draft One报告还包括一个可自定义的免责声明，该声明可以根据机构政策出现在报告的开头或结尾。我们最近还增加了机构导出Draft One使用情况报告的功能——显示每个用户生成和提交了多少份草稿——以及运行关于哪些特定证据项目与Draft One一起使用的报告，从而进一步支持透明度和监督。Axon致力于与警察机构、检察官、辩护律师、社区倡导者和其他利益相关者持续合作，以收集意见并指导Draft One和AI技术在司法系统中负责任地发展，包括随着法律的发展而进行变更。
“警察不应该使用AI”
由于预计Axon的工具可能会迅速普及（作为一种省时的附加服务，推销给已经依赖Axon的泰瑟枪和随身摄像头的警察部门），EFF的高级政策分析师Matthew Guariglia告诉Ars Technica，EFF迅速制定了一项计划，以追踪这项新技术的应用情况。
今年春天，EFF向数十个据信正在使用Draft One的警察部门发送了公共记录请求。为了起草这些请求，他们还审查了Axon的用户手册和其他材料。
在一份新闻稿中，EFF证实，调查“发现该产品提供的监督功能微乎其微”，包括一个实际上毫无用处的“审计日志”功能，这似乎与警察部门围绕数据保留的规范相矛盾。
也许最引人注目的是，Axon的工具不允许各部门“导出所有使用Draft One的警官的名单”，甚至不允许“导出所有由Draft One创建的报告的名单，除非该部门已经对其流程进行了自定义”。相反，Axon只允许导出显示对特定报告采取的操作或个人用户在系统中的基本活动（如登录和上传）的基本日志。这使得“即使是最基本的统计分析也几乎不可能进行：有多少警官正在使用这项技术，以及他们使用的频率有多高，”EFF表示。
EFF发现，任何进行数据分析的努力都将非常耗时。在某些部门，可以查找单个警察的记录，以确定他们何时使用了Draft One，但这“可能意味着梳理数十个、数百个，甚至在某些情况下，数千个单独的用户日志”。考虑到任何给定机构“生成的报告数量之多”，逐个筛选报告也将花费“大量时间”，EFF指出。
在某些司法管辖区，警察必须披露何时使用AI生成报告。EFF发现，一些部门确实要求这样做，这使得这些文件更容易搜索，并反过来使一些警察部门更有可能在不收取过高费用或要求大量延误的情况下回应公共记录请求。但至少在印第安纳州的一个部门告诉EFF，“我们无法创建通过Draft One创建的报告列表。它们是无法搜索的。”
EFF报告称，虽然并非每个警察都能搜索他们的Draft One报告，但Axon可以，这表明该公司可以比警察自己更好地跟踪警察对该工具的使用情况。
EFF希望其报告能够减少对可疑的AI生成警察报告日益增长的依赖。Guariglia告诉Ars Technica，如果不加以干预，这种报告可能会在美国警务中变得更加普遍。
在加利福尼亚州，一些警察长期以来一直在使用Draft One，目前已经提出一项法案，要求披露哪些部分的警察报告是由AI生成的。如果该法律获得通过，还将“要求将创建的第一个草案保留与最终报告一样长的时间，”Guariglia告诉Ars Technica，这将使Draft One按照目前的设计自动变为非法。EFF指出，犹他州正在考虑一项类似但力度较弱的倡议。
Guariglia告诉Ars Technica，EFF已经与公共辩护律师进行了交谈，他们担心AI生成警察报告的扩散“将如何影响交叉询问”，因为它可能会为警察在被指控在法庭上撒谎时提供一个简单的替罪羊。
为了完全避免这个问题，华盛顿州金县的至少一个地方检察官办公室已经禁止使用AI警察报告，理由是“对市场上的一些产品存在合理的担忧”。Guariglia告诉Ars Technica，地方检察官最关心的问题之一是，使用AI工具可能会“危及案件”。EFF现在敦促“其他检察官效仿，并要求他们管辖范围内的警察不要使用这种新的、不负责任的和有意不透明的AI产品。”
“警察不应该使用AI来撰写警察报告，”Guariglia说。“关于AI如何翻译情况的音频，警察是否会真正编辑这些草稿，以及公众是否能够分辨哪些是人写的，哪些是电脑写的，这些问题都还没有得到解答。这甚至还没有涉及到这些报告可能导致本已不公平和不透明的刑事司法系统出现问题的问题。”
本报道已更新，包含Axon公司的声明。
