近日，清华大学自动化系、清华大学脑与认知科学研究院、清华-IDG/麦戈文脑科学研究院戴琼海课题组提出一套实时荧光成像去噪架构（DeepCAD-RT），将此前开发的基于自监督学习的智能图像去噪方法进行了深度的整合和优化，通过将模型预测过程融合到成像流程中，在双光子荧光显微镜上实现了实时的（30Hz）荧光成像去噪。借助此方法，在使用显微系统对生物样本进行荧光成像时，研究人员就能够实时地得到增强之后的图像，将成像所需的荧光光子的数目缩减10倍以上，实现了超越光子噪声极限的实时超灵敏荧光成像。该方法被应用于小鼠、斑马鱼、果蝇等多种模式动物的神经钙成像实验，观测范围涵盖细胞体、神经纤维、树突棘等多个尺度。此方法还被应用于观测免疫细胞在急性脑损伤之后的三维迁移过程，以及大脑皮层中胞外信使ATP（腺嘌呤核苷三磷酸）在损伤点位周围的发放过程，在国际上首次做到对ATP发放过程的长时程（1小时）三维（350×350×60 μm3）观测，并给出了关于发放位置、时间、发放点位的三维形状等量化特征的完整统计结论。

图1. DeepCAD-RT实时超灵敏荧光成像框架

荧光显微镜是生命科学不可或缺的研究工具。荧光成像的一个基本挑战是光子探测不可避免的随机性导致的光子散粒噪声，这是由光的量子本质决定的。从根本上说，所有测量过程都服从量子力学定律，最直接的表现就是任何测量过程都存在精度的上限，光学成像领域的这个极限被称为光子噪声极限，光子噪声是前沿科学观测中绕不开的障碍。在理论上，光子噪声极限规定了成像信噪比的上界；在实践上，固有的光子噪声会增加测量的不确定性，降低图像质量，并限制成像的分辨率、速度和灵敏度等各个方面。

为了解决固有的光子噪声给成像带来的一系列难题，戴琼海院士团队继2021年在《自然·方法》（Nature Methods）期刊上发文首次提出针对神经钙成像的自监督去噪基础架构后，进一步从网络结构和硬件部署两个方面对该方法进行了全面的整合优化，在有效提升去噪性能和可靠性的同时，将模型体量压缩16倍，内存消耗降低27倍，处理时间缩减20倍，并设计多线程最优调度方法实现和显微镜硬件系统的融合，最终在双光子显微镜上实现了实时去噪。除了在模型预测阶段的提升之外，该工作在训练阶段也进行了多方面的提升：通过设计12倍数据增广来有效降低训练过程的数据依赖性，仅需1000帧时序图像就能训练出性能优越的模型；模型缩减和数据增广共同作用消除了过拟合，有效提升了方法的准确性和可靠性。同时，其自监督的内核赋予该方法从原始数据中学习清晰图像的能力，即使网络没见过任何高信噪比或者清晰的图像，仅从原始的低信噪比图像中就能学出真实的信号，解决了活体成像中由于样本得到高速动态特性导致的真值缺失问题。该工作通过丰富的生命科学实验，论证了其超越光子噪声极限的超灵敏成像能力。

图2. 实时超灵敏荧光成像方法在多种模式动物、多种生命现象上的应用

该超灵敏成像能力表现在下列实验中：一，对清醒小鼠大脑皮层第一层（L1）树突棘尺度的神经活动进行了高信噪比的记录，清晰地揭示了蘑菇状树突棘和粗短状树突棘的形态学异质性；二，对用GCaMP6s钙探针标记的斑马鱼视顶盖（optic tectum）神经群落进行了高速的连续拍摄，以高信噪比完整揭示了神经元群落的细胞分布和时间信号；三，果蝇等低等级的模式动物对光毒性的耐受力更低，该工作使用低激发功率记录成年果蝇蘑菇体神经元的自发活动，从被噪声淹没的图像中准确恢复神经元的胞体以及神经纤维等亚细胞结构；四，对急性脑损伤后，小鼠大脑皮层中性粒细胞的迁移过程进行了高信噪比的三维记录，有效避免了光漂白、光毒性等光致损伤对免疫反应的干扰，成功观测到了炎症消除后，大批中性粒细胞从损伤位点逐渐弥散的整个三维过程；五，借助北京大学李毓龙教授实验室开发的新一代ATP荧光探针GRABATP1.0，在国际上首次实现对大脑皮层中胞外信使ATP发放过程的低功率、长时程（1小时）、三维（350×350×60 μm3）观测，并给出了关于发放位置、时间、发放点位的三维形状等量化特征的完整统计结论。

光子噪声是光学测量中绕不开的障碍。作为一种在多种模式动物、多种生命过程上均表现出强大性能的去噪技术，该实时去噪方法有望应用到更多的成像场景中，比如深层组织成像、超分辨成像、光场三维成像等，通过在数据处理的最前端有效降低光子噪声带来的不确定性，有望解决噪声带来的固有的成像难题并带来新的生命科学发现。除了荧光成像，该方法还可以扩展到相位成像、天文观测、夜视成像等其他光学成像领域。

上述研究成果于9月26日发表在《自然·生物技术》（Nature Biotechnology）期刊上，论文题目为“实时去噪允许超越光子噪声极限的超灵敏荧光延时成像”（Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the shot-noise limit）。

清华大学自动化系2018级博士生李欣阳，复旦大学信息学院2022级博士生李奕昕为该论文共同第一作者。清华大学自动化系、清华大学脑与认知科学研究院、清华-IDG/麦戈文脑科学研究院戴琼海教授，清华大学电子系方璐副教授，清华大学深圳国际研究生院王好谦教授为该论文共同通讯作者。本研究得到了国家自然科学基金委、科技部、深圳科技创新项目、中国博士后创新人才项目的支持。