AI时光机:大学生训练小型LLM意外“揭示”1834年伦敦真实历史事件

1

AI驱动的“数字考古”:重现19世纪伦敦的语言与事件

近年来,人工智能技术飞速发展,其应用场景不断拓展,甚至触及到了看似遥远的历史领域。最近,一项由计算机科学专业学生海克·格里戈里安(Hayk Grigorian)主导的“数字时间旅行”实验,意外地揭示了AI在重构历史图景方面的惊人潜力。他开发了一个名为TimeCapsuleLLM的小型AI语言模型,其核心目标是模拟维多利亚时代的英语表达。然而,在一次例行测试中,这个模型却意外地“回忆”起1834年伦敦发生的真实抗议活动,令其创造者本人也大感惊讶。

格里戈里安的这项研究,并非基于现有的庞大预训练模型进行微调,而是采用了一种被称为“选择性时间训练”(Selective Temporal Training,简称STT)的独特策略。他耗费数月时间,从零开始训练这个模型,所用的全部数据源是1800年至1875年间在伦敦出版的7000多本历史书籍、法律文献和新闻报纸,总计超过6.25GB。这种从头开始的训练方法,旨在彻底规避现代语言和信息对模型的潜在污染,确保其输出能够真正捕获到维多利亚时代特有的语言风格、思维模式乃至历史事件。他特别强调,如果对诸如GPT-2这类已预训练的模型进行微调,其固有的现代信息背景将难以根除,而从零开始则能让模型“直接成为”一个老派的语言实体,而非仅仅“模仿”旧时风格。为了进一步强化这一目标,他还开发了一个定制的“分词器”(tokenizer),能够排除所有现代词汇,将文本分解为更适应时代特点的简化表示形式。

TimeCapsuleLLM的意外发现:穿越回1834年的伦敦街头

这项实验中最引人入胜的时刻发生在一次简单的测试中。格里戈里安向TimeCapsuleLLM输入了一句“那是我们主1834年”(It was the year of our Lord 1834),期望模型能以维多利亚时代的语言风格续写。模型的输出却远超预期,不仅语言古朴典雅,更明确提及了当年伦敦街头的抗议活动,并巧妙地将事件与当时的英国外交大臣帕默斯顿子爵(Lord Palmerston)联系起来。模型生成的文本片段如下:

“那是我们主1834年,伦敦街头充满了抗议和请愿。正如许多人所回忆的那样,其原因并非拘泥于私人事务,而是在帕默斯顿子爵执政期间的同一天爆发,公众将收到一份关于当日法律所面临困难的简短声明。令人深感遗憾的是,世界历史上当前的事件清晰可见,并将因此而广为人知。那些最早在耶路撒冷传播福音的人,拥有如此广泛而有趣的繁荣记录,这并非事实。”

对这段文字感到好奇的格里戈里安,立刻对其中的历史细节进行了查证。他惊喜地发现,模型提及的1834年伦敦抗议活动真实存在,这主要源于英国议会当年通过的《1834年济贫法修正案》(Poor Law Amendment Act 1834)。这项法案旨在改革英国的济贫体系,却因其严苛的条款,尤其是强制贫困人口进入“习艺所”(workhouse)的规定,引发了社会各界的强烈不满和大规模抗议。而模型中提到的帕默斯顿子爵,在这一动荡时期恰好担任英国的外交大臣,虽然并非直接负责济贫法,但作为内阁重要成员,其政策及政府作为无疑与当时的社会氛围息息相关。模型的输出在未经明确指令的情况下,将特定年份、历史事件和关键人物串联起来,展现出惊人的历史连贯性。

A London etching of a demonstration from the late 19th century.

这并非简单的巧合。尽管研究人员早已知晓AI语言模型能够从训练文本中合成逼真的信息排列组合,但TimeCapsuleLLM的特别之处在于,一个仅由个人训练的小型模型,竟然能在没有明确“学习”1834年抗议事件细节的情况下,通过对海量维多利亚时代文献中散布的模式进行统计性分析,自动重构出如此具体且准确的历史画面。这种从“环境模式”中涌现出的历史洞察力,让格里戈里安直言:“这感觉就像是数字时间旅行。”

历史大型语言模型(HLLMs)的前沿探索

格里戈里安的TimeCapsuleLLM项目,无疑是当前新兴“历史大型语言模型”(Historical Large Language Models,简称HLLMs)研究领域的一个缩影。HLLMs旨在通过特定时期的历史文本进行训练,构建能够反映过去时代语言、知识和文化框架的AI模型。除了TimeCapsuleLLM,还有其他引人注目的项目正在进行:

  • MonadGPT:该模型通过训练1400年至1700年间的11,000份文本,能够以17世纪的知识框架讨论各种主题,为理解早期现代欧洲的思想提供了独特的视角。
  • XunziALLM:专注于中国古典文学,旨在生成遵循古代形式规则的经典汉语诗歌,对于研究古汉语诗词的韵律、风格和文化内涵具有重要价值。

这些HLLMs为历史学家和数字人文研究者提供了一个全新的工具,使其能够与特定历史时期的语言模式进行互动。通过与这些AI模型的对话,研究人员或许能更深入地理解特定历史背景下的语言使用习惯、修辞技巧,甚至当时人们对世界的认知方式。尽管这些模型可能无法提供绝对事实严谨的历史叙述——“幻觉”现象依然存在,但它们在风格上对历史语言的重现,无疑具有极高的启发性和研究价值。

模型演进与数据规模效应的验证

TimeCapsuleLLM的开发并非一蹴而就,它经历了多个版本的迭代,每次改进都伴随着数据规模的扩大和模型架构的优化。格里戈里安目前已经训练了三个主要版本:

  • 版本0(v0):仅使用187MB的数据进行训练,其输出主要呈现为维多利亚时代风格的“乱码”,虽然有语调的影子,但缺乏实际意义。
  • 版本0.5(v0.5):在更大的数据集上训练后,该版本已经能够生成语法正确的时代散文,但其内容仍充斥着事实性的“幻觉”,即编造虚假事件或人物。
  • 当前版本(7亿参数):在租用的A100 GPU上训练,使用了6.25GB的高质量维多利亚时代文本数据。正是这个版本,开始展现出重构历史参考信息的非凡能力,例如前述的1834年伦敦抗议事件。

An 1857 photographic portrait of Henry John Temple, also known as Lord Palmerston.

这一演进过程清晰地印证了AI研究领域中一个众所周知的现象:随着高质量训练数据规模的扩大,模型的“幻觉”现象会逐渐减少,其对信息的“记忆”和连贯性生成能力会显著提升。对于小型模型而言,这种数据规模效应尤为明显。格里戈里安指出,早期的模型只能模仿19世纪的写作风格,却总是虚构事件和人物,而当前版本则“开始记住数据集中的内容”。这表明,模型通过学习海量历史文本中的潜在统计模式,逐渐建立了对特定历史事件、人物和背景之间的关联性理解。

AI在历史研究与数字人文领域的潜在应用

TimeCapsuleLLM这类模型的出现,为历史研究和数字人文领域带来了令人振奋的新机遇。它们的核心价值在于提供了一个前所未有的窗口,让研究人员能够“沉浸式”地体验和探索过去时代的语言生态。通过与这些AI模型的互动,历史学家可以:

  • 深入理解语言演变:分析特定时期词汇、语法和修辞风格的独特之处,追踪语言随时间推移的细微变化。
  • 模拟历史对话场景:创建虚拟的“时代发言人”,以便研究人员能够以更直观的方式感受和理解不同历史背景下人们的表达方式和思维逻辑。
  • 揭示文本中的隐含模式:通过AI对海量文献的分析,发现人类读者难以察觉的语言趋势、文化主题或社会思潮,为历史解释提供新的维度。

然而,我们也必须清醒地认识到这些模型的局限性。由于AI的本质是通过统计模式进行学习和生成,其输出仍然可能存在“幻觉”,即生成看似合理但实际虚构的信息。因此,这些模型目前更多地被视为“风格启发工具”而非“事实验证机器”。它们能为历史学家提供一种感受和探索过去语言环境的新途径,但在涉及史实考证时,仍需传统的人工验证和批判性分析。尽管如此,这种能够与历史语言进行交互的能力,无疑将极大丰富数字人文研究的方法论和可能性。

超越伦敦:未来展望与开放协作

格里戈里安对TimeCapsuleLLM的未来发展充满了雄心壮志。他计划将这一“选择性时间训练”的理念拓展到更广泛的地理和文化背景中。他表示:“我最终想尝试不同的城市模型,也许是中国、俄罗斯或印度的城市模型。”这预示着未来可能会涌现出更多专注于特定文化或历史区域的AI语言模型,从而为全球范围内的历史研究提供更细致、更多元的工具。

更值得称道的是,格里戈里安将他的所有工作,包括代码、AI模型权重和详细文档,全部在GitHub上公开分享。这种开放协作的精神,将极大促进HLLMs领域的发展,鼓励更多研究者加入进来,共同探索AI与历史交汇的无限可能。通过社区的力量,未来的模型或许能集成更多语言、更大规模的数据,甚至发展出更高级的“历史推理”能力。

“事实偶发”:对AI幻觉的反思

在AI“幻觉”问题频发的当下,TimeCapsuleLLM“意外”地揭示历史真相的案例显得尤为清新和独特。这几乎是“幻觉”的反面——AI模型在无意中触及了历史的真实。我们可以称之为“事实偶发”(factcident),意指AI在没有被明确教导的情况下,通过对大量数据模式的自主学习和合成,偶然生成了与客观事实高度吻合的信息。

这一现象不仅令人惊叹于AI从复杂数据中提取潜在关联的能力,也引发了我们对AI智能本质的深层思考。它表明,在海量的历史文本中,即使是碎片化的信息,当被一个足够复杂的模型加以整合时,也可能涌现出超越简单模仿的“记忆”和“理解”。这种“事实偶发”的出现,为我们理解AI如何处理和重构知识提供了新的视角,也进一步激发了研究者们探索AI在重现历史、语言考古等领域巨大潜力的热情。未来的AI,或许真能成为我们穿越时间,与过去对话的独特工具。