4月14日，上海交通大学人工智能学院程远课题组在智能感知与光电计算交叉方向取得重要进展。团队在Nature Sensors发表最新成果——“Self-reconfigurable polarization perception in dual-anisotropy heterostructures for high-dimensional in-sensor computing”，发布全球首个偏振感算器“玄鉴”PolarSight SPU。该成果首次将偏振感知阵列与光神经网络前端深度融合，使系统能够在获取偏振信息的同时完成前端特征处理与计算，为全场景通用智能感算系统提供了新的技术路径。程远副教授为论文通讯作者。

研究背景：光里还藏着一层传统视觉难以利用的信息

今天的大多数视觉系统主要依赖亮度、颜色和空间纹理来理解世界。但真实世界中的光并不只有这些信息。除了明暗和色彩之外，光还携带着偏振这一重要维度。偏振能够反映物体表面结构、材质属性、微观纹理以及复杂环境中的散射特征，是人眼难以直接感知、传统成像系统也常常难以充分利用的一类隐藏信息。

这意味着，在各类视野受限场景中，例如低照度、低对比度、复杂材质干扰、散射环境和动态遮挡条件下，现有视觉系统从输入端开始就丢失了部分关键信息。很多原本存在于光中的线索，在进入传统传感器后就被压缩或舍弃，后续算法只能围绕不完整的输入继续处理。

因此，下一代机器人视觉系统的关键，不只是后端模型更强，也在于能否从感知入口开始，保留并利用这些长期被忽视的光学信息。

偏振高维传感计算架构示意图

该架构将偏振敏感器件阵列集成至光学神经网络感知端，通过垂直晶格取向实现偏振维度的原生感知与可重构计算。

技术突破：从传感器到“感算器”

围绕这一问题，程远副教授团队联合韩国科学技术院Joonki Suh教授团队及多家国际研究机构，提出并实现了全球首个偏振感算器“玄鉴”。

玄鉴并不是传统意义上只负责采集信号的传感器，也不是单纯放在后端执行运算的处理器。它把偏振感知与前端计算合并在同一物理入口中，是一种兼具感知与处理能力的新型硬件单元。团队将这一类器件定义为Sensing-Processing Unit，简称SPU。

这项工作的核心突破，在于将偏振感知阵列直接接入光神经网络前端，使系统在接收光信息的同时完成特征增强、信息重组和部分非线性处理。传统视觉链路通常遵循采集、传输、计算的流程，而SPU把其中一部分处理能力前移到了感知入口。

更重要的是，SPU具备自重构能力。它能够根据入射光的偏振状态形成不同响应模式，在同一前端中生成互补的信息通道。这样一来，进入后续网络的不再只是单一强度图像，而是经过前端主动组织后的可计算表征。偏振不再只是额外信息，而成为系统可直接利用的处理资源。

自重构偏振感知的核心机制

传感器阵列在不同角度偏振光激发下呈现多种响应模式，实现全光学自重构，为高维特征提取提供物理基础。

应用落地：在视野受限场景中提升感知能力

在真实环境中，感知系统经常面临各类视野受限场景，例如低照度、低对比度、雾霾散射、强反光、复杂材质干扰以及动态遮挡等。在这些条件下，传统视觉系统对目标的分辨能力会明显下降，很多关键目标在普通强度图像中难以被稳定识别。这也是自动驾驶、机器人感知和复杂环境视觉系统长期面临的共性问题。

研究团队将SPU接入光神经网络前端，构建端到端混合光电视觉架构，在视野受限任务中同时处理连续帧的强度信息和偏振信息。结果表明，基于SPU的系统在目标识别性能上显著优于传统光学方案，并接近先进电子神经网络水平。夜间场景是这一能力的重要验证场景之一。

进一步分析显示，在视野受限条件下，传统强度传感器输出往往难以充分拉开不同目标之间的特征差异，而SPU通过互补响应通道保留了更多隐藏偏振线索，使目标在进入后续网络之前就已经具备更好的可分性。系统性能的提升，不仅来自后端模型，也来自输入端信息质量的改善。

基于自重构偏振传感器阵列的高维动态视觉处理

在三维动态感知中融合空间、时间与偏振信息

为了进一步验证系统处理复杂信息的能力，研究团队提出空间与偏振联合编码方法，将三维物体不同深度的切片信息映射到不同偏振角度中。通过这种方式，原本分散在空间中的结构信息被组织为前端可直接处理的偏振序列。

在运动车辆方向识别和动态三维物体分类等任务中，基于SPU的光神经网络均表现出明显优势。实验结果表明，SPU不仅适用于二维图像，还能够有效融合空间、时间和偏振多个维度的信息，展示出其作为新一代视觉入口的潜力。

三维动态物体识别的感算器实现

未来展望：为下一代视觉系统重写第一层

这项工作的重要意义，在于它证明了视觉系统的性能提升不仅可以依赖更强的后端模型，也可以来自更聪明的输入端。

本研究让机器第一次真正获得了一种面向隐藏光学信息的前端能力。它把原本会在采集阶段丢失的偏振信息，转化为可以直接参与处理与判断的有效表征；把传统视觉链路中分离的感知与计算进一步拉近；也把感知设备从记录世界的入口，推进为理解世界的起点。

随着制备工艺和集成规模的进一步提升，SPU有望在全场景AI落地持续拓展应用。团队相关感算一体系统研究成果已在高端制造、机器人等场景中批量产业化并完成大规模部署，支撑面向Agentic AI的实时感知、前端计算与闭环决策，为下一代光计算系统和端侧视觉系统提供了新的前端架构思路。

上海交通大学人工智能学院程远副教授与韩国科学技术院Joonki Suh教授担任通讯作者，博士后朱文轩、博士生张若凡、本科生路茗淳、严骏驰教授等均对本文做出重要贡献。该研究得到了国家自然科学基金及产业项目资助。