未来技术学院陈良怡实验室开发混合物理模型与深度学习的结构光超分辨重构算法
2024/04/11
近年来,超分辨率荧光显微镜的发展极大地推动了人类对亚细胞结构的研究。其中,基于结构光照明的超分辨率荧光显微镜(SR-SIM)凭借其光子转化效率高等优点,非常适合活细胞的超分辨率成像。然而,北京大学陈良怡实验室2018年的工作提出,尽管结构光的光子转化成为超分辨的效率比其他类型的超分辨率显微镜更高,但是由于它存在的反卷积重建过程会放大图像中噪声产生伪影,从而影响超分辨率图像的可信度和定量化分析。在其提出利用时空连续性作为先验知识开发的基于海森正则化项的迭代重建方法后,其他许多研究组也开发了不同的抑制伪影的方法。已有的基于物理模型或通用先验知识的方法能够抑制噪声导致的伪影,但背景失焦引起的蜂窝状伪影、光照散射引起的伪影等不能完全抑制。而深度神经网络重建方法虽然能够更好地抑制重建超分辨率图像导致的各种伪影,但可能会产生局部失真和分辨率降低。
2023年1月,北京大学未来技术学院陈良怡教授团队结合了物理模型和深度学习两种重建方法的优点,通过利用全深度变分(TDV)网络作为重构目标函数的正则化项,将其与SIM物理模型相结合,提出了一种混合重建方法(TDV-SIM),能够在抑制伪影的同时保持分辨率。在处理不同细胞结构的图像时,TDV-SIM较单纯的深度学习方法能够更好地保留真实信号,同时比基于物理模型的方法能够更有效地去除伪影。相关工作以题为“Hybrid reconstruction of the physical model with the deep learning that improves structured illumination microscopy”(doi:10.1117/1.APN.2.1.016012)的论文发表于Advanced Photonics Nexus上。
研究团队将TDV-SIM与其他重建方法进行了比较,包括基于物理模型(Wiener 反卷积,HiFi-SIM,Hessian-SIM)和基于深度学习的方法(scU-Net,DFCAN)。在短曝光时候,研究人员观察活细胞中肌动蛋白丝、内质网以及线粒体等结构的动态变化发现,基于物理模型的降噪方法在低信噪比背景区域由于噪声放大仍然产生伪影。另一方面,虽然基于深度学习方法重建伪影较低,但它的分辨率和结构相似度值都会降低,同时常常在复杂结构如肌动蛋白和内质网的交叉点处以及线粒体内嵴处等地方产生不准确的推断,也就是常说的“幻觉效应”。这些问题可以被结合了物理模型约束的TDV-SIM很好地抑制。总体来说,TDV-SIM可以重构出更多的连续肌动蛋白丝,且伪影更少,其结构相似度值和分辨率与传统重建方法相当。
在深度学习盛行的今天,AI for science已经深入人心。尽管如此,团队的研究发现,纯数据驱动方法在预测不断变化的不规则和复杂样品结构时存在困难,在这种情况下考虑成像系统的物理模型约束变得至关重要。正如研究人员展示的:在面对结构复杂、动态的样品时,TDV-SIM方法较纯深度学习方法具有明显的优势。总的来说,TDV-SIM从混合重建的角度出发,为低信噪比图像的高分辨率高保真重建提供了一种新的解决方案。由于减少了成像时的光子剂量和相关的光毒性,提高了成像速度,延长了成像持续时间,TDV-SIM对于SR成像活细胞亚细胞结构动力学至关重要。
北京大学软件与微电子学院硕士生王建勇(已毕业)、重庆邮电大学计算机学院副教授范骏超、北京大学未来技术学院博士生周博为本文的共同第一作者。陈良怡和北京大学跨学部生物医学工程系黄小帅研究员为本文通讯作者。本研究得到国家科技重大专项计划、国家自然科学基金、北京市自然科学基金、临港实验室等经费支持。
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
- 
  2025年11月优质学术会议推荐 16
   - 
  2025年机器视觉、智能成像与模式识 392
   - 
  2025年第七届控制与机器人国际会议 576
   - 
  2025年智能光子学与应用技术国际学 1529
   - 
  2025年机械工程,新能源与电气技术 1790
   - 
  2025年计算机科学、图像分析与信号 2065
   - 
  2025年材料化学与燃料电池技术国际 1861
   - 
  2025年自动化前沿系统、智慧城市与 10-23
   - 
  2025年信息光学、遥感技术与机器视 10-23
   - 
  2025年数字人文、文化遗产与语言学 10-23
   - 
  2025年神经科学、生物信息学与智能 10-23
   - 
  2025年语言认知、人工智能与计算建 10-23
   - 
  2025年社会科学、应用语言学与人文 10-23
   - 
  2025年传统机械、动力学与智能装备 10-23
   - 
  2025年图像处理、物理建模与结构设 10-23
   
- 
  2025年两院院士增选有效候选人1145
 - 
  2025最新JCR分区及影响因子4758
 - 
  好学术:科研网址导航|学术头条分2033
 - 
  2025年国际期刊预警名单发布!1930
 - 
  2025年中科院期刊分区表重磅发8447
 - 
  中国科协《重要学术会议目录(205134
 - 
  吉林大学校长张希:学术会议中的提2840
 - 
  清华大学地学系阳坤课题组揭示全球10-20
 - 
  历史时期极端干旱灾害的数据评估和10-20
 - 
  “清华化学百年论坛:塑造化学的未10-20
 - 
  研究揭示植物激素独脚金内酯作为跨10-20
 - 
  清华大学联合研发的“46MW大容10-20
 - 
  清华大学(软件学院)-九疆电力建10-20
 - 
  中国农业大学土地学院马韫韬教授团10-20
 - 
  电子科技大学光电学院本科生在一区10-20
 
- 
  大连百奥泰生物技术有限公司 17950

 - 
  中国演示版学会 23950

 - 
  南京世通展览服务有限公司 2177

 - 
  北京交通大学 2253

 - 
  云南广大科技开发中心 17975

 - 
  中国医师协会胸外科医师分会 23786

 - 
  上海电子信息学院 23320

 - 
  上海巴典尼球阀厂 18043

 - 
  文化部艺术发展中心培训部 24117

 - 
  广东外语外贸大学 1948

 - 
  武汉雅森传媒有限公司 8436

 - 
  百奥泰国际会议(大连)有限公司 1991

 - 
  百奥泰国际会议(大连)有限公司 24176

 - 
  APISE 23109

 - 
  北京 23154

 - 
  凯乐会展(上海)有限公司 8038

 - 
  淮北煤炭师范学院 20988

 - 
  hksme 21140

 - 
  青岛理工大学 24128

 - 
  GTCbio 2115

 
						
					 
					















 640











































						
						