在人工智能与医疗健康领域交汇的前沿，阿里巴巴达摩院推出了一款引人瞩目的多模态大型语言模型——灵枢（Lingshu）。这款模型专注于医学领域，能够处理包括X光、CT扫描、MRI在内的超过12种医学成像模态，并在多模态问答、文本问答以及医学报告生成等任务中表现出卓越的性能。本文将深入探讨灵枢的技术原理、功能特点、应用场景，并展望其在医疗AI领域的未来发展。
灵枢：技术架构与核心功能
灵枢的核心在于其多模态处理能力，它不仅能够理解和生成文本，还能处理和分析医学图像。这种能力得益于其多阶段训练方法，通过逐步嵌入医学专业知识，显著提升了模型在医学领域的推理和问题解决能力。灵枢提供了7B和32B两个参数版本，其中32B版本在多个医学多模态问答任务中，性能甚至超越了GPT-4.1等专有模型。为了推动医学AI模型的标准化评估和发展，灵枢项目还推出了MedEvalKit评估框架，整合了主流的医学基准测试。
多模态医学问答
灵枢支持处理多种医学成像模态的视觉问答任务。用户可以输入医学图像，例如X光片、CT扫描或MRI图像，并提出相关问题。灵枢能够根据输入的图像和问题，生成准确的答案。例如，用户可以上传一张胸部X光片，并提问“是否存在肺炎迹象？”，灵枢将分析图像并给出诊断建议。
医学报告生成
医学报告的生成是灵枢的另一项重要功能。它可以根据输入的医学图像，自动生成高质量的医学报告，例如放射学报告。报告包含详细的“发现”和“印象”部分，为临床医生提供有价值的参考。例如，根据一张脑部MRI图像，灵枢可以生成一份包含脑组织结构描述、病灶位置和大小以及初步诊断意见的报告。
医学知识问答
除了处理图像，灵枢还能回答纯文本的医学问题。它涵盖了广泛的医学知识，为医学学生、临床医生和研究人员提供准确的信息。例如，用户可以提问“糖尿病的诊断标准是什么？”，灵枢将给出详细的诊断标准和相关解释。
医学推理与诊断支持
灵枢具备强大的医学推理能力，可以根据输入的医学图像和文本信息，进行复杂的推理和诊断支持。例如，医生可以输入患者的病史、体格检查结果和实验室检查结果，以及相关的医学图像，灵枢将综合分析这些信息，给出诊断建议和治疗方案。
医学图像理解与标注
灵枢能够理解和标注医学图像中的关键特征，例如病变位置、类型和严重程度。它支持生成详细的图像描述，帮助医生更好地理解图像内容。例如，灵枢可以标注一张乳腺钼靶图像中的肿瘤位置、大小和形态，并生成一份包含这些信息的报告。
灵枢的技术原理：数据、模型与训练
灵枢的技术原理可以概括为三个关键要素：数据整理、模型架构和多阶段训练。
数据整理
数据是训练大型语言模型的基础。灵枢的数据整理过程包括以下几个步骤：
- 数据收集：从多种来源收集医学成像数据、医学文本数据和通用领域数据。这些数据包括公开的医学图像数据集、医学教科书、医学期刊文章以及互联网上的医学知识库。
- 数据清洗：基于图像过滤、去重和文本清理，确保数据的质量和相关性。例如，去除低质量的医学图像，删除重复的文本数据，以及纠正文本中的错误。
- 数据合成：生成高质量的医学标题、视觉问答（VQA）样本和推理轨迹，丰富训练数据。例如，利用图像生成技术，合成新的医学图像，或者利用自然语言生成技术，生成与医学图像相关的问答对。
模型架构
灵枢基于Qwen2.5-VL模型架构，该架构包含三个关键组件：
- 大型语言模型（LLM）：用于处理文本输入和生成文本输出。灵枢使用了经过预训练的大型语言模型，例如Transformer模型，以提高其文本处理能力。
- 视觉编码器：用于提取医学图像的视觉特征。灵枢使用了卷积神经网络（CNN）作为视觉编码器，以提取图像中的关键特征。
- 投影器：用于将视觉特征映射到语言模型的表示空间。灵枢使用了线性变换或非线性变换作为投影器，以将视觉特征与文本特征对齐。
多阶段训练
灵枢的训练过程分为多个阶段，每个阶段都有不同的目标：
- 医学浅层对齐：使用少量医学图像文本对进行微调，让模型准确编码医学图像并生成相应的描述。这个阶段的目标是让模型初步具备理解医学图像和生成文本描述的能力。
- 医学深层对齐：引入更大规模、更高质量和语义更丰富的医学图像文本对数据集，进一步整合医学知识。这个阶段的目标是让模型更深入地理解医学知识，并提高其生成文本描述的准确性。
- 医学指令调整：基于大规模的医学指令数据优化模型，提高执行特定任务指令的能力。这个阶段的目标是让模型能够根据用户的指令，完成特定的医学任务，例如回答医学问题、生成医学报告等。
- 医学导向的强化学习：使用强化学习与可验证奖励（RLVR）范式，增强模型的医学推理能力。这个阶段的目标是让模型具备更强的医学推理能力，能够根据已有的知识，推断出新的结论。
评估框架
为了评估灵枢的性能，项目团队推出了MedEvalKit评估框架。该框架整合了多个多模态和文本医学基准测试，支持多种问题格式，包括多项选择题、封闭式问题、开放式问题和医学报告生成。框架提供标准化的数据预处理格式和后处理协议，以及一致的模型部署和推理接口，支持快速集成和一键评估。
灵枢的应用场景：从诊断到公共卫生
灵枢的应用场景非常广泛，涵盖了医学图像诊断、医学报告生成、医学知识问答、医学研究和公共卫生等多个领域。
医学图像诊断
灵枢可以处理多种医学成像模态的视觉问答任务，分析图像中的异常并提供诊断建议。它可以生成详细的图像描述和标注关键特征，辅助医生进行准确诊断。例如，灵枢可以分析CT图像，检测肺结节，并评估其恶性程度。
医学报告生成
灵枢可以依据医学图像生成高质量的放射学报告和病理报告，涵盖“发现”与“印象”部分，为临床医生提供重要参考，提高报告编写效率与质量。例如，灵枢可以根据MRI图像，自动生成脑部肿瘤的报告，包括肿瘤的位置、大小、形态和周围组织的关系。
医学知识问答
灵枢可以提供准确的医学知识，帮助医学学生、专业人士以及临床医生获取所需信息，做出更明智的决策。例如，灵枢可以回答关于药物剂量、副作用、禁忌症等方面的问题。
医学研究
在医学研究中，灵枢可以协助整理和分析医学图像与文本数据。例如，灵枢可以分析大量的医学图像，寻找疾病的生物标志物。
公共卫生
灵枢能够处理公共卫生数据，支持流行病学研究，计算归因风险等。例如，灵枢可以分析传染病的发病率、传播途径和影响因素，为制定防控措施提供依据。
灵枢的未来展望：迈向更智能的医疗AI
灵枢的推出是医疗AI领域的一个重要里程碑。它展示了多模态大型语言模型在医学领域的巨大潜力。未来，灵枢有望在以下几个方面取得更大的突破：
- 更强的多模态处理能力：灵枢将支持更多种类的医学成像模态，并能够更好地融合图像、文本和基因组数据等多模态信息。
- 更精准的诊断能力：灵枢将通过不断学习和优化，提高诊断的准确性和可靠性，减少误诊和漏诊。
- 更个性化的治疗方案：灵枢将根据患者的个体特征，例如基因组信息、生活习惯和疾病史，制定个性化的治疗方案。
- 更广泛的应用场景：灵枢将在远程医疗、健康管理和药物研发等领域发挥更大的作用。
总而言之，灵枢是阿里巴巴达摩院在医疗AI领域的一次重要探索。它不仅展示了多模态大型语言模型的强大能力，也为未来的医疗AI发展指明了方向。随着技术的不断进步，我们有理由相信，灵枢将在未来的医疗健康领域发挥越来越重要的作用。
