现代医学的发展很大程度依赖于基础科学和应用科学的进步。神经外科医生看着脑部计算机断层扫描系统（CT）或磁共振扫描仪（MRI）胶片，凭借丰富经验就进入手术室的年代正在远去。近十多年来，多模态影像融合技术已经日臻完善。在手术之前，通过计算机软件将患者头部的CT、磁共振、正电子发射计算机断层扫描成像（PET）等多种影像融合，并通过3D重建出来，可以让医生充分了解病变信息，制定更加优化的手术策略。这些技术在清华大学玉泉医院（清华大学中西医结合医院）神经外科三病区得到充分应用。

能否把计算机3D重建的虚拟图像，映射到患者的头部？近几年提出的这一新需求，将更直观地让医生“看”到脑部的各个结构层次。早在三年前，市场上已经出现了诸多小型便于移动的投影仪，使用起来很方便。利用这种便携式投影仪，就可以把计算机上显示的图像投射到患者的头部。不过操作起来并不方便，医生需要不断调整距离和角度，才能让图像和患者实际的头部重合，而且也有一定的误差，使得临床应用受到了限制。

为此，清华大学玉泉医院神经外科三病区和清华大学生物医学工程系以及社会力量共同合作，开发出一种新技术——将摄像头和投影仪整合在一起，通过软件控制让虚拟和现实实时融为一体。医生需先在软件里进行影像的融合与3D重建，并设计好手术路径。在手术前，对患者的头部进行实时扫描，摄像头采集信息，在计算机内生成一个3D的表面轮廓，然后和事先通过影像重建的模型自动进行匹配，就可以在患者头部表面精准地投射出重建的模型。根据需要，医生可以直观地看到想看的结构，例如颅骨、血管、病变等等，可对手术路径做进一步的改良与优化。

这种解决方案对现有条件要求不高，硬件也小巧且便携，很容易普及。早在2019年，刚刚提出虚拟与现实融合的需求时，神经外科三病区就同时在研发更高一级的应用场景，将这种智能视觉识别技术和导航或者神经外科手术机器人结合起来，将会更加方便地辅助医生改进手术方案，也会让手术变得更加安全、创伤更小。目前，工程样机已经完成，实验数据显示，特别是对于微创手术，大大提高了其安全性和高效性，此技术即将开展临床应用。