近日，上海交通大学集成电路学院（信息与电子工程学院）周林杰教授、陆梁军教授团队在片上集成光子计算领域取得新进展。团队提出一种基于时-波-空交织的集成光子3D张量处理引擎（3D-TPE），通过微环光开关阵列和可调延时线阵列芯片的协同调控，在光域内实现了数据缓存、通道时钟同步与张量计算，具备灵活时钟频率调控能力，在20 GHz主频下执行激光雷达3D点云图推理任务，达97.06%识别准确度。相关成果以“Integrated photonic 3D tensor processing engine” 为题发表于国际期刊《Light: Science & Applications》。

研究背景

随着人工智能技术的飞速发展，深度学习任务对现有计算体系的算力吞吐量、处理延迟和能效比提出了极高要求。然而，现有电子计算架构受限于“冯·诺依曼瓶颈”与“存储墙”效应，其功耗与算力难以进一步提升。光子计算凭借其高带宽、低延迟、高并发性以及丰富的物理调控自由度等优势，被广泛视为解决未来超大规模算力需求，实现高吞吐量和高能效计算新范式的强有力的候选者之一。然而，当前大多光子硬件加速器多聚焦于2D矩阵-向量乘法计算的优化，面对神经网络中作为基本数据结构的高维张量的计算处理时，现有的2D架构面临显著挑战。首先，高阶张量需根据光子硬件规模在电域进行频繁的结构重塑与中间计算结果的缓存，引入了额外的计算开销、存储开销与时间延迟。其次，多通道数据的时序同步高度依赖外部电子时钟，缺乏在光域内直接进行数据缓存和时序对齐的能力，随着光子阵列规模的扩大，电控同步系统的复杂度急遽增加，难以发挥出光子计算在超高主频下的算力潜力与实时处理能力。

研究内容

研究团队提出了一种基于时间-波长-空间交织的集成光子3D张量处理引擎（3D-TPE），如图1所示。该光子引擎通过深度协同光计算单元（OCU）与光缓存单元（OMU），在光域内实现了数据缓存、通道时钟同步与张量计算，并具备灵活的时钟频率适配能力。光计算单元（OCU）由双耦合微环交叉阵列芯片构成，光缓存单元（OMU）采用可调时间延迟线阵列实现。输入数据经调制器顺序加载到多波长光载波上并馈入多路光计算通道，实现输入信号在波长域和空间域的多样本复制；通过精准调控不同光计算路径中信号副本的延迟量，实现多通道信号的光域数据缓存与通道间时序对齐；通过光计算单元完成并发的加权乘法计算，并经光电探测器实现输出功率的线性累加。通过OCU与OMU芯片的协同调配，片上光子矩阵计算规模也从传统的2D矩阵-向量乘法计算拓展为3D矩阵-矩阵乘法计算。该3D-TPE通过将数据缓存、通道时钟同步任务从电域移至光域，进一步释放了光子计算系统中外部电子高速调控的需求，充分释放了光在高速、高并行度下的计算优势，其自适应的时钟频率调控能力也使其在其能够灵活应对时间密集型或时间稀疏型任务。

图1 集成光子3D张量处理引擎：(a) 传统2D MVM光子加速器与本文提出的3D-TPE对比；(b) 3D-TPE结构概念示意图

光计算单元（OCU）基于双耦合微环交叉阵列芯片，与传统方案单微环权重元素相比，双耦合微环权重元素具有更平坦的光谱响应与更大的光学带宽，能减小高码率下的信号失真，并提升对激光波长漂移的鲁棒性。图2展示了团队所制备的光计算芯片，权重元素的3 dB带宽达50 GHz，通道间串扰小于-25 dB，通过简单的查表法，即可实现任意权重组合下稳定超过7 bit的权重部署精度。

图2 基于3D双耦合微环光交叉阵列的光计算单元(OCU)：(a)芯片光镜图；(b)权重单元；(c)光谱特性；(d) 权重调控；(e)权重电压映射曲线；(f-g)任意权重组合下的权重部署(f)实验与理论对比散点图以及(g)精度

光缓存单元（OMU）由一个8通道可调时间延迟线阵列芯片构成，如图3所示。单个可调时间延迟线由7个级联MZI光开关及连接延迟波导组成，延迟分辨率为4.93 ps（对应约200 GHz的自适应时钟频率），最大延迟时间达310.59 ps，延迟误差被严格控制在0.6 ps以内。通过调配不同光学路径的时间延迟量，团队进行了10 Gbaud到30 Gbaud码率下的系统计算能力评估，系统测试表明，在固定权重组合下的4通道并发计算精度为4.1至4.8 bits之间。

图3 用于时钟频率调控的光缓存单元(OMU): (a) 实验装置图；(b)光缓存单元芯片光镜图；(c-d)10G至30G码率下的理论计算与实验(c)波形对比与(d)等效计算精度

在概念验证实验中，团队使用该3D-TPE光子计算引擎执行了3D CNN中卷积层的卷积计算，如图4所示。在20 GHz的系统时钟频率下，执行了激光雷达3D点云图像识别推理任务，达到97.06% 的识别准确率，其结果与数字计算结果相当。

图 4 激光雷达3D点云图像推理任务：(a) CNN架构；(b-d) 数字计算与光计算实验结果对比(b)不同角度下的点云特征图对比，(c) 特征图波形对比以及(d)识别混淆矩阵对比

论文作者信息

上海交通大学集成电路学院（信息与电子工程学院）博士生吴月、博士毕业生倪子恒为共同第一作者。上海交通大学集成电路学院（信息与电子工程学院）陆梁军教授、周林杰教授为通讯作者。该工作得到了学院陈建平教授的悉心指导。学院博士毕业生李鑫、硕士毕业生王媛荀也为本工作做出了重要贡献。此外，该工作得到了上海交通大学光子传输与通信全国重点实验室、上海交通大学–平湖智能光电研究院、国家重点研发计划、国家自然科学基金的支持。

陆梁军，教授，主要研究方向为硅基光电子集成芯片及系统应用。主持重点研发计划项目、基金委面上等项目10余项。在Nat. Commun., Light Sci &Appl., PhotoniX, Optica等国内外一流期刊发表论文90余篇，持有中国发明专利30余项，美国专利5项。入选国家高层次青年人才、上海市启明星计划，曾获中国电子学会科技进步二等奖等。

周林杰，教授，国家级高层次人才，主要从事光电子器件与集成方面研究工作。主持各类国家级科研项目20余项，在Nature Photonics、Nature Communications、Physics Review Letters、Light Science & Applications、Advanced Photonics等期刊发表论文200余篇，Google Scholar统计引用超过8000次。入选爱思唯尔中国高被引学者榜单、英国皇家学会牛顿高级学者。曾获中国光学“十大进展”、中国产学研合作创新奖、华为优秀合作奖、中兴优秀项目奖等。