近日，清华大学软件学院徐枫副教授团队在医疗人工智能方向取得重要进展，提出面向呼吸系统疾病诊疗需求的多模态基础模型MedMPT。该模型基于154274例胸部CT影像及其对应放射学报告开展多模态自监督学习，能够处理临床中多源异构数据，支持多类典型临床任务，在肺部疾病诊断、放射学报告生成和用药推荐等多个应用场景中取得领先性能，为通用医疗人工智能在真实临床环境中的落地提供了新的技术路径。

呼吸系统疾病是全球范围内的重要公共卫生问题，相关诊疗工作通常涉及影像检查、实验室检验及临床随访等多个环节。随着医学影像与信息化技术的快速发展，医疗场景中产生的数据类型与规模不断增长，对临床医师提出了更高的信息整合与决策支持需求。然而，现有医疗人工智能系统多聚焦于单一数据模态或局部诊疗步骤，难以适配真实临床工作流程中多模态协同和连续性决策的场景，限制了其推广应用和临床可解释性。构建能够理解多源医疗信息并支持多类临床任务的通用模型，已成为推动智慧医疗发展的关键方向。

图1.多模态临床数据在呼吸系统疾病诊疗中的协同应用

针对这一需求，研究团队提出面向呼吸系统疾病的多模态基础模型MedMPT。通过多尺度、多模态自监督学习框架，在无需额外人工标注的前提下，从大规模胸部影像及文本报告中自动提取医学语义关联特征。进一步融合实验室检测指标、临床文本信息及药物关系网络等多类医疗数据，该模型能够为不同临床任务提供统一表示基础，并支持根据临床场景进行灵活调优。

图2.MedMPT多模态自监督预训练框架与多种临床任务微调策略

在临床应用层面，MedMPT能够在统一模型框架下处理影像、文本、检验结果及药物先验关系等多源医学信息，辅助医师完成疾病识别、影像分析、初步诊断意见形成及用药方案制定等多个诊疗环节。通过整合多源信息，模型可提供清晰一致的决策支持，助力提升整体诊断效率。在药物推荐环节，得益于大规模真实临床用药数据中潜在模式与关联的融合，模型能够为药物选择和方案制定提供具有实践参考价值的建议。同时，模型具备可解释性可视化能力，能够为其分析结果提供相应依据，有助于增强医师对模型决策过程的理解与信任。

图3.MedMPT在多模态临床任务中实现综合性能提升

此外，团队与临床专家开展了合作评估。MedMPT可在影像报告撰写过程中提供结构化、连贯、专业的影像描述，帮助医生快速聚焦病灶信息，提升报告撰写效率。同时，模型输出具备较高的医学专业性和信息完整度，有助于减少报告内容遗漏，特别是在经验相对不足的医生群体中，对提升报告规范性和一致性作用明显。结果显示，MedMPT能够与临床专家形成良好协同，在保持医生的专业判断主体地位的同时，有效优化日常工作流程，展现出良好的临床应用潜力。

图4.MedMPT通过人机协同显著提升医学影像报告撰写的效率和报告质量

这一工作为多模态医疗人工智能在真实临床场景中的应用提供了可行路径与实践依据。未来，团队将进一步推进多中心验证与拓展应用场景，持续推动人机协同在临床诊疗中的深度融合。

研究成果以“面向呼吸系统疾病多场景临床应用的视觉–语言预训练模型”（ A vision–language pretrained transformer for versatile clinical respiratory disease applications）为题，于11月6日发表于《自然·生物医学工程》（Nature Biomedical Engineering）。

清华大学软件学院2021级博士生马靓笛为论文第一作者，清华大学软件学院副教授徐枫、信息国家研究中心副研究员郭雨晨，广州医科大学附属第一医院教授何建行、医生梁恒瑞为论文共同通讯作者。研究由清华大学软件学院、信息国家研究中心、脑与认知科学研究院、广州医科大学附属第一医院、北京天坛医院、贵州省人民医院等单位合作完成。研究得到国家自然科学基金、国家重点研发计划等项目的支持。