近年来，深度学习技术在增强荧光显微镜的成像性能方面取得了重要进展。然而，如何提高图像复原网络的保真度，增强网络在荧光噪声环境下的鲁棒性，是仍待解决的难题。近日，北京大学未来技术学院席鹏教授团队提出了一种新型的荧光成像通用复原网络LargePNet。该技术针对荧光图像中大视野范围的生物结构关联特性，设计了适配的网络架构聚合大视野荧光统计信息，破解了传统深度学习方法因小图切割训练丢失全局信息而导致的保真度下降与抗噪性能不足的难题，显著提升了荧光成像复原精度与大图推理效率。相关成果以“Pushing the limits of fluorescence imaging with a restoration neural network aggregating large-view statistics”为题，发表在国际权威期刊《自然·通讯》（Nature Communications），为活细胞长时程荧光成像、多色超分辨观测提供了更优的成像技术支撑。

论文截图

近年来，深度学习网络在图像复原和增强领域取得了较大进展。UNet、RCAN和SwinIR等在自然图像处理中广泛应用的网络架构被迁移到荧光成像领域。通过学习从低质量图像到高质量图像的映射关系，复原网络有效降低了显微成像所需的光子剂量，从而提高了成像速度和时程等关键指标。然而，现有研究大多沿用自然图像的处理方法，通过随机裁剪增强的方式将大图裁剪成小图（尺寸通常为128×128），增强数据集来训练网络。本研究指出：这种方式忽略了荧光图像中大视野范围内生物结构的关联性，导致关键的全局结构上下文信息在训练过程中丢失。同时由于小图和大图中结构统计信息量的差异，直接将小图训练的网络迁移到大图复原，会带来进一步的误差和精度下降。

针对上述核心缺陷，研究团队围绕如何高效利用大视野信息以提升荧光图像复原性能展开了系统研究。考虑到空间自注意力机制的高复杂度，直接使用Attention对超大视野建模在算力上并不实际。因此，研究者们采用了重参数化大核卷积（RepLKConv）作为长程建模的主要方式。然而，重参数化大核卷积的浅层特性使其非线性表达能力较弱，较难应用于复原任务。研究者们通过金字塔结构设计，引入传统深度网络的低频分支来弥补这一问题，并且通过实例归一化提高了大图训练时的稳定性。作者通过消融实验验证了两个分支的互补作用。通过在不同尺寸图像上的训练对比以及有效感受野的分析，作者验证了LargePNet能有效地利用和提取大视野范围信息，其复原指标随训练图像尺寸的增加而提高。在LargePNet架构基础上，研究团队进一步开发了其拓展版本，以适配不同的复原任务需求和数据类型，包括生成式复原架构LargeP-GAN，视频超分架构LargeP-TISR，三维数据复原架构3D-LargePNet，以及自监督降噪架构LargeP-SN2N。

图1.LargePNet的架构原理。a.小图训练丢失上下文结构的缺陷，以及与大图结构统计量的差异。b.LargePNet的结构概览。c.LargePNet的有效感受野分析。d.LargePNet与传统网络训练方式的差异

研究者们在涉及不同显微模态的降噪、去模糊、单图和视频超分、采样恢复和背景去除等八项典型的荧光图像任务上验证了LargePNet模型的性能。在多种任务中，研究团队直接在大于512×512尺寸的图像上训练LargePNet，无需随机裁剪数据增强方式，保留了大视野的结构信息提供给网络训练学习。对比以往最先进的CNN（例如DFCAN），Transformer（例如SwinIR）以及基础模型微调（例如UniFMIR）结果，LargePNet峰值信噪比（PSNR）较当前最优小图块网络提升0.5—2dB。在大图推理时，计算效率通常为先进卷积网络的4倍、Transformer网络的20倍。

图2.LargePNet在BioSR数据集上的表现。a.典型微管结构的超分结果与误差图。 b.LargePNet与先进的CNN和Transformer网络的PSNR和MS-SSIM指标对比。c.LargePNet提高了大图推理效率。比例尺：5微米

依托LargePNet的优异性能，研究团队在活细胞成像领域取得重要应用突破：首先，成功实现了长达30小时、分辨率200nm的活细胞亚细胞器动态成像，稳定监测了细胞骨架动态变化过程；其次，完成了小时量级的三色STED超分辨成像，能够清晰解析内质网、线粒体和微管三种细胞器间的相互作用细节，为细胞生物学机制研究提供了高精度、高稳定性的观测技术支撑。

图3.基于LargePNet实现更优活细胞成像性能。a.30小时时程，200纳米分辨率的微管动态监测。b.1小时时程的三色STED成像。c.LargePNet复原图像的分辨率分析。d.a中白色矩形框放大区域。比例尺：2微米（a, d），5微米（b）

LargePNet通过合理的网络设计高效提取了大视野结构信息，提高了荧光成像复原的精度，提升了荧光成像的性能，为活细胞计算成像带来关键性突破。研究团队还基于灰度共生矩阵（GLCM）统计量对LargePNet的表现进行了分析和验证：当小块图像中的GLCM统计信息与大视图图像的偏差越大时， LargePNet相较于小图训练的网络就越有可能取得显著的复原优势，这与论文中大部分的实验结果吻合，也为合理地部署使用LargePNet提供了指导。

为了便于LargePNet方法的应用，研究团队开放了该研究的全部Python源码、训练数据集与训练模型（https://github.com/YiweiHou/LargePNet-for-fluorescence-image-restoration），以推动荧光计算成像技术的方法迭代与应用普及。

北京大学未来技术学院博士生侯宜伟、高姝为该论文共同第一作者，席鹏、生命科学学院李美琪博士为该论文共同通讯作者。北京大学未来技术学院博士后研究员任伟和博士生付允哲为本研究作出了重要贡献。本工作得到国家自然科学基金委、科技部重点研发计划、山东省自然科学基金重大项目的资助。