科学记者发现，ChatGPT在总结科学论文方面表现不佳，这一发现引发了关于人工智能在科学传播领域适用性的重要讨论。美国科学促进会(AAAS)进行的一项为期一年的研究表明，尽管大型语言模型(LLM)在生成科学论文摘要方面具有潜力，但ChatGPT在准确性和细节处理上存在明显缺陷。
研究背景与方法
从2023年12月到2024年12月，AAAS的研究人员每周选择多达两篇论文，使用三种不同详细程度的提示让ChatGPT进行总结。研究团队重点关注包含技术术语、争议性见解、突破性发现、人类受试者或非传统格式等复杂元素的论文。测试使用了研究期间最新公开的"Plus"版GPT模型，涵盖了GPT-4和GPT-4o时代。
在总计64篇论文的摘要中，由撰写相同论文SciPak简报的同一批SciPak作者进行定量和定性评估。研究人员指出，这种设计"无法解释人类偏见"，这在评估可能威胁其核心工作职能的工具的记者中可能相当显著。
研究发现：AI摘要的局限性
研究发现，ChatGPT"能够勉强模仿SciPak风格简报的结构"，但其文本"往往为了简化而牺牲准确性"，需要"SciPak作者进行严格的事实核查"。
定量评估结果
记者们的定量调查结果相当一边倒。在关于ChatGPT摘要"是否可以融入您的摘要系列"的问题上，平均摘要得分仅为2.26分(1-5分制，1分表示"完全不"，5分表示"绝对可以")。在关于摘要是否"引人入胜"的问题上，LLM摘要平均得分为2.14分。在这两个问题上，只有一份摘要获得了人类评估员的"5"分，而"1"分的评价则有30个。
定性评估问题
记者还被要求撰写对所评估摘要的定性评估。在这些评估中，作者们抱怨ChatGPT经常混淆相关性和因果关系，未能提供背景信息(例如，执行器往往非常缓慢)，并且倾向于过度使用"突破性"和"新颖"等词来夸大结果(尽管当提示特别指出这一点时，这种行为有所减少)。
总的来说，研究人员发现ChatGPT通常擅长"转录"科学论文中写的内容，特别是当该论文没有太多细微差别时。但LLM在"翻译"这些发现方面表现较弱，未能深入探讨方法论、局限性或宏观影响。这些弱点在提供多个不同结果的论文中尤为明显，或者当被要求将两篇相关论文总结为一个简报时。
AI与人类科学写作的对比
尽管ChatGPT摘要的语调和风格通常与人类撰写的内容相匹配，但记者们写道，"关于LLM撰写内容的事实准确性问题"普遍存在。他们补充说，即使将ChatGPT摘要作为人类编辑的"起点"，由于需要进行"广泛的事实核查"，所需的工作量"与从头开始起草摘要相当，甚至更多"。
考虑到先前的研究显示AI搜索引擎错误引用新闻来源的比例高达60%，这些结果可能并不令人意外。然而，在讨论科学论文时，这些特定弱点更加明显，因为准确性和沟通清晰度至关重要。
行业影响与未来展望
AAAS记者最终得出结论，ChatGPT"不符合SciPak新闻包中简报的风格和标准"。但白皮书确实指出，如果ChatGPT"经历重大更新"，再次进行实验可能是值得的。就目前而言，GPT-5已于2025年8月向公众推出。
这项研究对科学传播行业产生了深远影响。它表明，尽管AI可以作为辅助工具，但在科学新闻生产中，人类记者的专业判断、事实核查能力和对科学细微差别的理解仍然是不可替代的。
科学传播的挑战与机遇
科学传播面临着将复杂研究转化为公众可理解内容的挑战。AI工具如ChatGPT在这一过程中可能提供帮助，但研究表明它们目前还不够成熟。科学记者需要掌握将技术内容转化为引人入胜故事的能力，这种能力远超简单的文本处理。
未来，随着AI技术的进步，科学传播可能会出现新的模式，可能是人机协作的最佳结合。科学记者可能需要学习如何有效利用AI工具，同时保持对内容质量和准确性的严格把控。
结论
AAAS的研究清楚地表明，尽管ChatGPT在模仿科学新闻简报结构方面有一定能力，但其内容质量和准确性远未达到专业标准。科学传播需要人类专家的参与，他们能够理解科学的复杂性，准确传达研究发现，并确保信息的准确性和完整性。
随着AI技术的不断发展，科学传播领域可能会经历重大变革，但人类记者的专业知识和判断力仍将是这一领域不可或缺的组成部分。未来的科学新闻生产可能会采用人机协作的模式，但人类监督和编辑的角色仍然至关重要。
