精仪系杨原牧课题组实现基于单目超构表面相机的深度偏振四维成像
2024/04/15
普通相机只能拍摄物体的二维平面图像。近年来,三维立体视觉在消费电子、机器人、汽车智能化和工业自动化等新兴领域中开始扮演愈发重要的角色。三维空间维度之外,光场提供的额外信息维度,例如偏振、光谱等,可以揭示场景更加丰富的特征,对于目标识别与追踪、特征分析、图像增强等任务有着重要的作用。为获取额外维度光场信息,光学系统通常需要更大的体积、重量和功耗。例如,获取物体深度信息需要主动激光照明或采用多视角拍摄;获取物体偏振信息需要通过分振幅、分焦面等方式。通常单一光学系统难以同时记录多个维度的光场信息。
针对以上难题,清华大学精仪系光电工程研究所杨原牧副教授课题组提出利用一种基于半导体工艺制造的新型平面衍射光学元件“超构表面”(metasurface)替代传统相机镜头组,通过在亚波长尺度灵活设计超构表面结构单元,构造对场景深度、偏振敏感的成像系统点扩散函数,将多维光场信息编码在相机传感器上,结合相应计算成像算法,实现了一种新体制小型化多维光场相机,能够在无需主动激光照明的情况下,通过单次拍摄同时获取目标场景包含二维强度、深度、偏振在内的四维光场信息。

图1. 单目超构表面相机被动快照式四维成像框架
该相机工作原理如图1所示。超构表面由半导体工艺加工的各向异性硅基纳米天线阵列构成,总口径为2毫米。通过对其点扩散函数进行精心设计与优化,目标场景会在像面上形成一对空间分离的正交偏振孪生图像。场景的深度信息与这对孪生图像与其几何像点的局部平移矢量一一对应,由此关系可以通过算法重建出场景的扩展景深二维图像、深度图像与偏振信息。该设计解决了以往单目三维成像工作中存在的重建精度差、重建耗时长及深度范围小等问题,并进一步实现了对目标场景偏振信息的获取。

图2. 室内静态场景四维成像实验
本工作中的超构表面芯片和由其构成的相机系统实物如图2a-c所示。室内静态场景四维成像实验部分结果如图2d-f所示。利用该相机同时拍摄放置在不同深度的纸张、铁片和陶瓷物体,可以同时获取场景的四维光场信息,深度图误差仅为0.37%,并且通过偏振信息可以清晰区分金属与非金属材质。

图3. 室外动态场景四维成像实验
室外动态场景四维成像实验部分结果如图3所示。在自然光照明下,对移动的玩具小车进行拍摄,可以获得场景的扩展景深偏振图像以及高精度的深度信息,从而揭示出动态三维场景的准确时空关系。
通过进一步利用超构表面的偏振及光谱响应,当前的单目四维成像技术框架有望进一步拓展至三维空间、偏振、光谱五维成像。当前单帧多维图像计算恢复时间约需0.3秒。通过优化算法框架,有望进一步提升恢复速度,实现对更复杂场景的多维光场重建。
该成果近日以“单目超构表面相机快照式被动四维成像”(Monocular metasurface camera for passive single-shot 4D imaging)为题发表在《自然·通讯》(Nature Communications)上。
该研究的完成单位为清华大学精密仪器系、精密测试技术与仪器国家重点实验室,第一作者为精仪系2021级博士研究生沈子程,通讯作者为杨原牧副教授。精仪系曹良才教授,博士后赵峰、靳淳淇、王帅为论文工作作出了重要贡献。
该研究得到国家自然科学基金和清华大学国强研究院的资助。相关成果正通过清华大学技术转移体系进行产业化落地,拟应用于机器人避障、人脸识别、手势交互等领域,于近日被知名行业媒体“光电汇”评为“2022中国十大光学产业技术”。
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
第五届传感、测量、通信与物联网技术国 42
-
2026年9月优质国际学术会议推荐 263
-
2026年第15届计算与模式识别国际 212
-
2026年第二届计算机视觉与机器学习 2124
-
2026年无人机遥感与人工智能国际会 472
-
2026资源、化学化工与应用材料国际 3740
-
2026年图像处理与数字创意设计国际 3525
-
2026年机械工程,新能源与电气技术 8084
-
2026年材料科学、低碳技术与动力工 3712
-
第三届国际会议语言学、心理学与创意教 08-07
-
2026年建筑科学、材料工程与可持续 08-07
-
2026年国际会议金融科技、市场营销 08-07
-
第三届国际社会科学与文化研究会议平行 08-07
-
ICSSCS 2026 - 子论坛: 08-07
-
第三届社会科学与文化研究国际会议平行 08-07
-
2026 JCR影响因子正式发布1135
-
中国科协发布2025年《重要学术1583
-
2026年新锐分区(原中科院期刊8243
-
2025年两院院士增选有效候选人6001
-
好学术:科研网址导航|学术头条分7917
-
2025年国际期刊预警名单发布!8062
-
2025年中科院期刊分区表重磅发28351
-
吉林大学校长张希:学术会议中的提9122
-
清华大学计算机系高性能所获得IE07-31
-
北京大学生命科学学院伊成器课题组07-31
-
北京大学罗欢、李阿明、方方课题组07-31
-
北京大学生命科学学院郭强团队与合07-31
-
清华大学集成电路学院任天令团队合07-31
-
清华大学5位清华人当选“202607-31
-
研究揭示热带雨林优势树种望天树幼07-31
-
EAI 2805

-
可持续城市与社区研究会 24725

-
ICVMIP 23721

-
苏州亿众网络科技 21583

-
美国科研出版社 2627

-
中山大学管理学院 18668

-
青岛通元堂健康管理有限公司 2640

-
上海交通大学安泰经管学院 21832

-
广州市会展公司 18632

-
沈阳博思教育咨询有限公司 23484

-
百奥泰国际会议(大连)有限公司 23656

-
中国医疗卫生品牌协会 18467

-
东北师范大学 21563

-
北京盛世华典文化发展有限公司 23398

-
国家传染病诊断试剂与疫苗工程技术 22104

-
江南大学食品学院 8760

-
西南石油大学 3032

-
上海新相印图册制作有限公司 18607

-
沈阳博思教育咨询有限公司 18749

-
新疆大学 8932





















909







































