以病理图像等为代表的影像信息是疾病临床诊疗常用的金指标，也是耦合中西医宏观表型与微观分子的关键中间层次。如何通过嵌入影像信息来解析中西医宏微观跨层次关联的底层规律，并构建具有普适性的人工智能模型，对于深入理解疾病发生发展与药物干预的本质，推动中西医临床精准诊疗，具有重要科学价值和现实意义。

近日，清华大学北京市中医药交叉研究所所长、欧洲科学与艺术院院士、自动化系教授李梢课题组揭示出基于影像信息的中西医宏微观跨层次网络模块化关联规律，创建了一套具有深度可解释性的影像-分子跨层次网络关系推断统一模型，率先实现了多尺度影像与多组学信息的跨层次从头推断与精准整合，并应用于发现疾病发生发展与药物干预的影像-分子多模态融合标志物，对于运用人工智能理解疾病宏微观复杂关联原理、推动中西医智能与精准防治具有重要意义。

该研究通过系统解析公共数据库中4.5万人次的临床信息、病理影像、分子多组学及空间转录组数据，构建了表型-影像-分子跨层次统一嵌入表征空间，进而率先揭示出基于影像信息的宏微观“跨层次网络模块化”关联规律：宏微观跨层次、跨模态数据可通过统一空间进行表征，且在该空间中形成网络模块化关联结构；以网络模块为核心单元进行数学建模，可完成跨层次网络关系推断与整合。

在此基础上，该研究创建了影像-分子跨层次网络关系推断统一模型Multi-Embed，实现宏微观跨层次关联的方法学突破（图1）。该模型基于自监督学习框架，从跨层次数据中自主挖掘病理影像与分子特征间的复杂关联，首次实现了多尺度病理形态与多层次分子图谱的跨模态统一嵌入，同时兼顾了模型的可解释性与泛化性，解决了传统多模态模型“性能与可解释性不可兼得”“泛化能力弱难以适配临床大队列”的两难问题。其优势体现在三个方面：第一，精度高。基准测试表明，影像-分子跨层次整合精度较当前最优模型提升1.64倍；第二，泛化能力强。首次同步支持像素级、区域级、切片级等多尺度影像与基因组、转录组、蛋白组等多层次组学数据的联合推断，不仅适用于空间多组学数据，也可直接应用于大规模临床队列的影像-bulk分子信息整合，大幅提升了临床转化潜力；第三，深度可解释。模型在设计阶段即通过对网络模块化关联规律的编码，实现了跨层次特征的精准对齐与隐式融合，使推断结果具备明确的生物学可解释性。

尤为突出的是，模型凭借嵌入的宏微观跨层次网络模块化先验，即便仅用少量空间转录组样本训练，也能生成适用于大规模临床数据的多模态共嵌入空间与整合模型，这为克服中医药领域常见的“小样本”局限、构建面向临床的中西医多模态学习模型提供了重要支撑。

图1.Multi-Embed模型框架

研究利用Multi-Embed模型，进一步系统解析了跨层次网络关键节点与肿瘤发生发展、药物干预疗效等临床结局之间的关联，发掘出一系列具有深度可解释性的影像-分子多模态融合标志物（图2）。

在肿瘤发生预警方面，聚焦课题组前期提出的胃癌“极早期”新分期，构建了胃炎至胃癌极早期再到早癌演进过程的影像-分子关联网络，揭示了其动态时空演变规律，挖掘出可预警胃癌发生的影像-分子多模态标志物，拓展了胃癌极早期病证标志物体系（图2a）。在预后风险分层方面，该研究系统挖掘出12种肿瘤预后风险相关的影像-分子多模态标志物，并得到了外部独立临床数据验证（图2b）。在药物干预疗效预测方面同时，该研究还应用Multi-Embed辨识出了与肿瘤治疗响应相关的影像-分子融合标志物（图2c）。

图2.基于Multi-Embed的影像-分子多模态融合标志物发现：（a）肿瘤发生预警（b）预后风险分层（c）药物干预疗效预测

研究强调，Multi-Embed模型可进一步拓展至涵盖舌像、内镜图像等多种类型影像特征与多组学分子谱的跨层次推断与整合，且可延伸应用于识别具有中医特色的影像-分子融合标志物及药物疗效评价指标。这不仅为阐释中医望诊的科学内涵提供了坚实依据，也开辟了从表型、影像到分子多层次系统解析中西医诊疗规律的新途径。

研究成果以“基于统一多模态嵌入的病理形态与分子图谱系统解码”（Systematically decoding pathological morphologies and molecular profiles with unified multimodal embedding）为题，于4月24日发表于《自然·方法》（Nature Methods）。

清华大学自动化系副研究员张鹏、2022级博士生高超飞为论文共同第一作者，清华大学北京市中医药交叉研究所所长、自动化系教授李梢为论文通讯作者。

研究得到国家自然科学基金、国家中医药管理局创新团队与人才培养计划、教育部学科突破先导项目、科技部重点研发计划青年科学家项目的资助。