在当今信息爆炸的时代，将复杂的科学研究成果转化为通俗易懂的摘要，成为科学记者日常工作中最重要的任务之一。与此同时，大型语言模型(LLM)也被频繁提及作为简化复杂文本的理想工具。然而，美国科学促进会(AAAS)最新进行的一项为期一年的研究，对这一假设提出了质疑。
研究背景与方法
从2023年12月到2024年12月，AAAS的研究团队选取了多达每周两篇科学论文，使用三种不同详细程度的提示让ChatGPT进行摘要生成。研究团队特别关注那些包含技术术语、争议性见解、突破性发现、人类受试者或非常规格式的论文。测试使用了研究期间最新公开的GPT模型的"Plus"版本，涵盖了GPT-4和GPT-4o时代。
在总计64篇论文的摘要生成后，由SciPak团队中负责撰写这些论文摘要的同一批科学记者进行了定量和定性评估。研究人员指出，这种设计"无法考虑人类偏见"，这在评估可能取代其核心工作职能的工具的记者中可能尤为显著。
研究发现：AI摘要的局限性
定量评估结果
定量调查结果相当一边倒。当被问及ChatGPT摘要"是否可以融入您的摘要系列中"时，平均得分仅为2.26分(1-5分制，1表示"完全不"，5表示"绝对可以")。在摘要是否"引人入胜"的问题上，LLM摘要的平均得分仅为2.14分。在这两个问题上，只有一篇摘要获得了人类评估员的"5"分，相比之下却有30个"1"分的评价。
定性评估问题
科学记者在评估单个摘要时写下的定性评估揭示了更多问题。记者们抱怨ChatGPT经常混淆相关性与因果关系，未能提供背景信息(例如，致动器通常非常缓慢)，并且倾向于过度使用"突破性"和"新颖"等词汇来夸大结果(尽管当提示特别指出这一点时，这种行为有所减少)。
核心能力缺陷
研究人员发现，ChatGPT通常擅长"转录"科学论文中的内容，特别是当论文没有太多细微差别时。但大型语言模型在"翻译"这些研究成果方面表现较弱，无法深入探讨方法论、局限性或宏观影响。这些弱点在提供多个不同结果的论文中尤为明显，或者当被要求将两篇相关论文摘要合并为一篇简报时。
尽管ChatGPT摘要的语调和风格通常与人类撰写的内容相匹配，但"关于LLM撰写内容的事实准确性问题"普遍存在。记者们补充道，即使将ChatGPT摘要作为人类编辑的"起点"，由于需要"广泛的事实核查"，所需的工作量"与从头撰写摘要一样多，甚至更多"。
科学传播的特殊挑战
这些结果在考虑到先前显示AI搜索引擎引用错误新闻来源率高达60%的研究后，可能并不令人意外。然而，在讨论科学论文时，这些特定的弱点尤为明显，因为准确性和清晰沟通至关重要。
科学传播与一般内容创作有着本质区别。科学论文包含复杂的概念、精确的数据、特定的方法论和严格的结论。科学记者需要具备跨学科知识、批判性思维和对科学严谨性的深刻理解，才能准确转述这些内容。AI系统虽然在处理语言模式方面表现出色，但在理解科学概念的细微差别和保持学术严谨性方面仍存在显著不足。
行业影响与未来展望
AAAS科学记者最终得出结论，ChatGPT"不符合SciPak新闻简报的风格和标准"。然而，白皮书也指出，如果ChatGPT"经历重大更新"，再次进行实验可能是值得的。值得注意的是，GPT-5已于2025年8月向公众推出。
这项研究对科学新闻行业具有重要启示。随着AI技术的不断发展，科学记者需要重新思考如何将这些工具整合到工作流程中，而不是简单地用AI取代人类判断。可能的解决方案包括：
- AI作为辅助工具：将AI用于初步草稿生成，但保留人类编辑和事实核查的关键环节
- 专业提示工程：开发针对科学内容的专业提示，减少AI的过度简化倾向
- 混合工作流程：结合AI处理能力和人类专业知识，创建更高效的内容生产流程
科学写作中的人类优势
科学写作中的人类优势主要体现在以下几个方面：
- 批判性思维：人类能够质疑假设、识别方法论局限性和评估研究结果的可信度
- 背景知识：科学记者通常拥有广泛的跨学科知识，能够将新发现置于更广泛的科学背景下
- 伦理敏感性：人类能够识别研究中的伦理问题，并适当处理敏感话题
- 创造性表达：人类能够以新颖、引人入胜的方式呈现复杂概念，而不牺牲准确性
- 科学严谨性：人类理解科学过程的本质，能够准确传达不确定性、局限性和条件性
结论
AAAS的研究清晰地表明，尽管AI技术在内容生成方面取得了显著进展，但在科学传播这一对准确性和清晰度要求极高的领域，人类专业知识和判断仍然不可替代。ChatGPT等工具可能在未来得到改进，但目前它们更适合作为科学记者的辅助工具，而非替代品。
科学传播不仅是传递信息，更是促进科学理解和社会对话的过程。在这个过程中，人类科学记者的独特视角、专业知识和道德判断将继续发挥关键作用。随着AI技术的发展，科学记者需要不断适应和进化，将这些新兴工具整合到自己的工作流程中，同时坚守科学传播的核心价值和原则。
