AI“烟幕弹”:警用AI工具删除证据,透明问责何在?

1

AI“烟幕弹”:人工智能工具成逃避问责的新手段?

人工智能(AI)技术在警务领域的应用日益广泛,但随之而来的问题也逐渐浮出水面。最新调查显示,警方偏爱的一款AI工具,Axon Draft One,在设计上存在缺陷,可能导致证据自动删除,使得对其使用情况的审计变得几乎不可能。这种“烟幕弹”效应,引发了人们对于AI在执法过程中可能造成的偏见、不准确以及潜在谎报的担忧。

AI警务工具:透明度缺失与问责难题

电子前沿基金会(EFF)发布了一份详尽的调查报告,直指AI生成的警察报告存在严重的透明度问题。该报告称,这些工具的设计使得审计变得异常困难,甚至可能助长警察在宣誓情况下的虚假陈述。Axon Draft One于去年夏天在科罗拉多州的一个警察部门首次亮相,它利用ChatGPT的变体,根据执法记录仪的音频生成初步的警察报告。警察本应编辑这些报告,纠正错误、评估偏见并补充关键信息。

然而,EFF的调查发现,这项技术“似乎旨在阻挠任何审计、透明度和问责制的尝试”。警察部门并非强制要求披露AI的使用情况,并且Draft One不会保存草稿或保留记录,以显示报告的哪些部分是AI生成的。此外,各部门也不会保留不同版本的草稿,这使得评估AI报告的不同版本之间的差异变得困难,公众也难以判断该技术是否“靠谱”。

AI快讯

更令人担忧的是,目前很难确定警察是否真的在认真编辑这些报告,还是仅仅“下意识地认可草稿,以便尽快完成任务”。Axon公司承认,至少有一次,工程师发现了一个漏洞,允许警察在至少三个场合绕过“护栏”,在未阅读的情况下提交AI生成的报告。这意味着,AI工具可能会“过度解释音频”,错误理解俚语或添加从未发生过的背景信息。

“烟幕弹”效应:责任归属模糊化

EFF指出,“一个主要的担忧”是,AI报告可能会给警察提供一个“烟幕弹”,甚至允许他们通过将报告中的“有偏见的语言、不准确、误解或谎言”归咎于AI工具来逃避责任。由于没有记录显示罪魁祸首是警察还是AI,因此“几乎不可能评估该系统如何影响长期的司法结果”。

根据EFF的说法,Draft One“似乎是故意设计成避免可能向公众提供任何问责制的审计”。在一个EFF审查的圆桌讨论视频中,Axon公司的一位高级首席产品经理吹捧Draft One的消失草稿功能,解释说,“我们不存储原始草稿,这是经过设计的,真正的原因是我们最不想做的事情是为我们的客户和律师事务所制造更多的披露难题。”

EFF对此的解读是,Axon公司最不想做的事情是“让警察不得不向任何人(比如法官、辩护律师或公民自由非营利组织)提供这些数据”。EFF强调,为了服务和保护公共利益,必须持续、积极地评估AI输出,无论何时何地使用。但Axon公司却有意使这项工作变得困难。

追踪AI警务工具:挑战与呼吁

EFF呼吁在全国范围内监测AI生成的警察报告,预计这些报告将在未来几年内在许多城市得到越来越广泛的应用。该组织还发布了一份指南,旨在帮助记者和其他人提交记录请求,以监测其所在地区警察的使用情况。然而,EFF的调查证实,“不幸的是,获得这些记录并不容易”,在许多情况下,“根本不可能”。

Axon公司的一位发言人表示,Draft One可以帮助警察根据执法记录仪的音频记录起草初步报告,并包含一系列保障措施,包括在关键时刻强制执行人工决策以及提高其使用透明度。与非Draft One生成的叙述性报告一样,警察仍然对内容负全部责任。每份报告都必须由人工警察编辑、审查和批准,以确保准确性和问责制。Draft One的设计旨在镜像现有的警察叙述流程,按照长期以来的标准,只保存最终批准的报告,供后续调查,而不是保存警察或主管审查期间的临时编辑、添加或删除。

自始至终,每当使用Draft One生成初始叙述时,其使用情况都会存储在Axon Evidence的不可更改的数字审计跟踪中,机构可以检索任何报告。默认情况下,每份Draft One报告还包括一个可定制的免责声明,可以根据机构政策显示在报告的开头或结尾。Axon公司最近还增加了机构导出Draft One使用情况报告的功能,显示每个用户生成和提交了多少份草稿,并可以运行关于哪些特定证据项目与Draft One一起使用的报告,进一步支持透明度和监督。Axon公司致力于与警察机构、检察官、辩护律师、社区倡导者和其他利益相关者持续合作,以收集意见并指导Draft One和AI技术在司法系统中负责任地发展,包括随着法律的发展而进行修改。

质疑之声:AI警务的伦理边界

EFF的高级政策分析师Matthew Guariglia表示,由于Axon公司的工具可能会迅速普及,EFF迅速制定了一项计划,以跟踪这项新技术的应用情况。今年春天,EFF向数十个据信正在使用Draft One的警察部门发送了公共记录请求。为了起草这些请求,他们还审查了Axon公司的用户手册和其他材料。

EFF在一份新闻稿中证实,调查“发现该产品提供的监督功能很少”,包括一个实际上无用的“审计日志”功能,这似乎与警察部门通常的数据保留规范相矛盾。最引人注目的是,Axon公司的工具不允许各部门“导出所有使用Draft One的警察名单”,甚至不允许“导出所有由Draft One创建的报告的列表,除非该部门定制了其流程”。相反,Axon公司只允许导出显示在特定报告上采取的行动或单个用户在系统中的基本活动(如登录和上传)的基本日志。这使得“即使是最基本的统计分析——有多少警察在使用该技术以及使用频率——也几乎不可能进行”。

EFF发现,任何进行数据分析的努力都将是耗时的。在某些部门,可以查找单个警察的记录以确定他们何时使用Draft One,但这“可能意味着梳理数十个、数百个或在某些情况下数千个单独的用户日志”。考虑到任何给定机构“生成的报告数量之多”,逐个报告地进行分类也需要“大量时间”。

在一些司法管辖区,警察必须披露何时使用AI生成报告。EFF发现,有些部门要求这样做,这使得文档更容易搜索,并反过来使一些警察部门更有可能在不收取过高费用或要求大量延误的情况下回应公共记录请求。但印第安纳州的一个部门告诉EFF,“我们无法创建通过Draft One创建的报告列表。它们是不可搜索的。”

EFF报告称,虽然并非每个警察都能搜索他们的Draft One报告,但Axon公司可以,这表明该公司可以比警察自己更好地跟踪警察对该工具的使用情况。

立法干预与检察官的抵制

EFF希望其报告能够减少对不可靠的AI生成的警察报告的日益依赖,Guariglia表示,如果不加以干预,这种情况可能会在美国警务部门变得更加普遍。在加利福尼亚州,一些警察长期以来一直在使用Draft One,一项法案已被提出,要求澄清警察报告的哪些部分是AI生成的。如果该法律获得通过,它还将“要求将创建的第一个草案保留与最终报告一样长的时间”,Guariglia表示,这将使Draft One按照目前的设计自动变为非法。犹他州正在权衡一项类似但不太有力的倡议,EFF指出。

Guariglia告诉Ars,EFF已经与公共辩护律师进行了交谈,他们担心AI生成的警察报告的扩散将“如何影响交叉询问”,因为它可能会给警察在被指控在证人席上撒谎时提供一个简单的替罪羊。

为了完全避免这个问题,华盛顿州金县的至少一个地方检察官办公室已经禁止使用AI警察报告,理由是“对市场上某些产品的合理担忧”。Guariglia告诉Ars,地方检察官最关心的问题之一是,使用AI工具可能会“危及案件”。EFF现在敦促“其他检察官效仿,并要求其管辖范围内的警察不要发布这种新的、不负责任的和故意不透明的AI产品”。

Guariglia说:“警察不应该使用AI来撰写警察报告。关于AI如何翻译情况的音频,警察是否会真正编辑这些草稿,以及公众是否能够分辨出哪些是人写的,哪些是电脑写的,还有太多的问题没有得到解答。这甚至是在我们开始讨论这些报告可能如何导致本已不公平和不透明的刑事司法系统出现问题之前。”

本报道已更新,包含Axon公司的声明。