在信息爆炸的时代，社交媒体平台X（前身为Twitter）正尝试利用人工智能（AI）来革新其社区笔记功能，旨在提升平台的事实核查效率和覆盖范围。然而，这一举措也潜藏着一系列风险，如同潘多拉魔盒般，可能对信息的真实性和用户信任度产生深远影响。
X平台最初的社区笔记系统依赖于众包模式，汇集不同用户的观点来评估帖子的可信度。现在，X计划引入AI来撰写社区笔记，这无疑是一场豪赌。根据X发布的研究论文，虽然AI在理论上能够加速和扩大事实核查的规模，但同时也可能削弱用户对这一系统的信任。
理想情况下，AI代理能够快速识别并标注不准确的帖子，从而扩大事实核查的覆盖面。每一条AI撰写的笔记都会由人工审核员评估，通过反馈循环不断提升AI的写作能力。随着AI代理的不断改进，人工审核员可以将精力集中在更复杂的事实核查上，例如需要专业知识或社会意识的帖子。这种人机协作模式有望彻底改变X平台的事实核查机制，甚至为公共知识的生产提供新的蓝图。
然而，一个关键问题是，AI撰写的笔记是否能够达到人工撰写的准确度。更令人担忧的是，AI代理可能会生成“具有说服力但不准确的笔记”，由于AI擅长撰写具有情感共鸣且看似中立的文本，人工审核员可能会误认为这些笔记是有帮助的。这种偏差可能会扰乱反馈循环，降低社区笔记的质量，并逐渐侵蚀整个系统的可信度。
X的研究论文警告说：“如果评分的有用性与准确性并非完全相关，那么经过精心润色但具有误导性的笔记可能更容易通过审核。随着大型语言模型（LLM）的进步，这种风险可能会增加。它们不仅能写出更具说服力的内容，还能更容易地研究和构建看似可靠的证据，从而支持几乎任何主张，无论其真实性如何，这使得人工审核员更难发现欺骗或错误。”
X的AI计划已经引发了广泛批评。英国前技术部长达米安·柯林斯指责X正在构建一个可能被“工业化操纵人们在平台上看到和信任的内容”的系统。《卫报》报道，柯林斯声称，AI笔记可能会增加X平台上“谎言和阴谋论”的传播。
艾伦·图灵研究所新兴技术与安全中心的研究员塞缪尔·斯托克韦尔也表达了类似的担忧。他指出，X的成功很大程度上取决于其“针对AI‘笔记撰写者’可能产生幻觉并在其输出中放大错误信息的风险所采取的保障措施的质量”。
斯托克韦尔警告说：“AI聊天机器人通常难以处理细微之处和语境，但擅长自信地提供听起来很有说服力的答案，即使这些答案是不真实的。如果不加以有效解决，这可能是一个危险的组合。”
更复杂的是，任何人都可以使用任何技术创建AI代理来撰写社区笔记。这意味着某些AI代理可能比其他代理更具偏见或缺陷。X的社区笔记帐户解释说。
如果这种反乌托邦式的情况发生，X预测人工撰写者可能会厌倦撰写笔记，从而威胁到社区笔记最初赖以建立的观点多样性。对于那些坚持下来的人工撰写者和审核员来说，大量的AI撰写笔记可能会使他们不堪重负。英国事实核查组织Full Fact的AI负责人安迪·杜德菲尔德告诉《卫报》，X面临的风险是“增加人工审核员的负担，使其需要检查更多的草稿笔记，从而可能导致笔记完全由AI撰写、审核和发布，而缺乏人工输入所能提供的仔细考虑”。
X正在计划进行更多研究，以确保“人工评分能力能够充分扩展”，但如果无法解决这个问题，那么“最关键的笔记的影响”可能会被削弱。
研究人员指出，解决这种“瓶颈”的一个可能方法是取消人工审核过程，并在人工评分员先前批准的“类似情境”中应用AI撰写的笔记。但这种方法的最大潜在缺陷是显而易见的。
X的论文承认：“自动将笔记匹配到人们认为不需要它们的帖子可能会严重损害对系统的信任。”
研究人员承认，最终，X上的AI笔记撰写者可能被视为一种“错误的”工具，但他们仍将继续进行测试以找出答案。
AI撰写的笔记即将发布
X的社区笔记帐户表示，所有AI撰写的社区笔记“都将明确标记给用户”。该帐户表示，第一批AI笔记将仅出现在人们已请求笔记的帖子上，但最终AI笔记撰写者可能会被允许选择帖子进行事实核查。
当AI撰写的笔记在本月晚些时候开始出现在X上时，将会有更多信息披露，但与此同时，X用户可以立即开始测试AI笔记撰写者，并很快被考虑纳入AI代理的初始队列。（如果任何Ars读者最终测试了AI笔记撰写者，这位Ars作者很想了解更多关于您的体验。）
为了进行研究，X与哈佛大学、麻省理工学院、斯坦福大学和华盛顿大学的研究生、研究人员和教授合作，调查诸如人类对AI的信任、微调AI和AI安全等主题。
研究人员一致认为，“在某些情况下”，AI代理可以“在时间和精力成本的一小部分内，生成与人工撰写的笔记质量相似的笔记”。他们建议，需要进行更多研究以克服已标记的风险，从而获得“变革性机遇”的好处，这种机遇“有望大大提高X上事实核查的规模和速度”。
该论文称，如果AI笔记撰写者“生成比单个人工撰写者通常能代表的更广泛的观点范围的初始草稿，那么社区审议的质量从一开始就得到了提高”。
AI笔记的未来
研究人员设想，一旦X的测试完成，AI笔记撰写者不仅可以帮助研究人工用户标记的问题帖子，而且有一天还可以选择预测会传播开来的帖子，并阻止错误信息比人工审核员更快地传播。
他们建议，这种自动化系统的其他好处包括X笔记评分员可以快速访问更彻底的研究和证据综合，以及更清晰的笔记构成，这可以加快评分过程。
研究人员推测，也许有一天，AI代理甚至可以学习预测评分以加快速度。但是，需要进行更多研究以确保这不会使社区笔记同质化，从而使它们变得平淡无奇，以至于没有人阅读它们。
该论文中提出的最具马斯克风格的想法可能是训练具有冲突观点的AI笔记撰写者“以对抗方式辩论笔记的优点”。据说，“这可以帮助立即发现潜在的缺陷、隐藏的偏见或捏造的证据，从而使人工评分员能够做出更明智的判断”。
该论文称：“评分员不再从头开始，而是扮演着裁判的角色——评估结构化的论点冲突。”
虽然X可能正在采取行动来减少X用户撰写社区笔记的工作量，但研究人员表示，很明显AI永远无法取代人类。这些人不仅对于批准AI撰写的笔记是必要的。
该论文称，从头开始撰写的人工笔记对于训练AI代理很有价值，并且某些评分员的专业知识不易复制。而且，也许最明显的是，人类“具有独特的识别缺陷或偏见的能力”，因此更有可能被促使撰写“自动撰写者忽略的主题”的笔记，例如垃圾邮件或诈骗。
