当前位置:首页 >> 学术资讯 >> 科研信息

清华大学 电子系方璐团队在大规模光电智能计算方向取得进展

2024/03/28

随着大模型等人工智能技术的突破与发展,算法复杂度剧增,对传统计算芯片带来了算力和功耗的双重挑战。近年来,以光计算为基础、通过光电融合的方式构建光电神经网络的计算处理方法已经成为国际热点研究问题,有望实现计算性能的颠覆性提升。然而,光电神经网络的前向数学模型由对光场的精准物理建模得到,计算复杂度高、参数冗余度大;其学习机制沿用人工神经网络常用的梯度下降算法,面向大规模光电神经网络时优化速度慢、资源消耗高、收敛效果差。因此,现有学习架构仅能支撑小规模光电神经网络的训练,其网络容量和特征捕获能力不足以有效处理ImageNet等大型复杂数据集。

近日,清华大学电子工程系方璐副教授课题组提出了面向大规模光电智能计算的“光学-人工双神经元学习架构(DuAl-Neuron opTical-artificial lEarning,DANTE)”。其中光学神经元精准建模光场计算过程,人工神经元以轻量映射函数建立跳跃连接助力梯度传播,全局人工神经元与局部光学神经元以交替学习的机制进行迭代优化,在确保学习有效性的同时,大大降低了训练的时空复杂度,使得训练更大更深的光电神经网络成为可能。DANTE突破了大规模光电神经网络物理建模复杂、参数优化困难等桎梏,网络规模提升一至两个数量级,训练学习速度提升两个数量级。

图1.光学-人工双神经元学习架构(DANTE)

受限于算力瓶颈与显存容量,现有的单神经元学习方法仅能实现百万量级神经元的光电神经网络训练,难以满足ImageNet等复杂大规模数据集的训练需求。课题组在空间光智能计算平台上开展了大量仿真与物理实验验证,将现有百万量级光电神经元网络的训练时间从数十小时级缩短到了分钟级。课题组进一步基于DANTE,首次实现了亿级神经元的大规模光电神经网络训练与推理,在CIFAR-10、ImageNet等多个数据集上实现了与经典人工神经网络VGG-11和VGG-16相当的准确率。值得强调的是,在ImageNet基准上成功训练光电神经网络具有重要意义。这展现了DANTE在支撑大规模光电神经网络训练学习上的巨大潜力,有望推动光电智能计算从基于MNIST基准的原型验证阶段迈入到使用现代ImageNet基准来解决大规模现实问题的全新时代。

图2.DANTE在CIFAR-10和ImageNet数据集上的训练与推理性能评测

研究成果以“光学-人工双神经元架构训练大规模光电神经网络”(Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning)为题,于11月4日发表于《自然·通讯》(Nature Communications)期刊上。

清华大学电子工程系为论文的第一单位,方璐副教授为论文通讯作者,电子系博士后袁肖赟(清华大学水木学者、已出站)为论文第一作者,参加研究的作者还包括课题组博士生王勇(已毕业)、徐智昊,博士后周天贶。

该研究课题得到科技部科技创新2030—“新一代人工智能”重大项目,基础科学中心项目、面上项目,清华大学水木学者计划等的支持。



版权声明:
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

2026年智慧教育与数据挖掘国际学术会议(SEDM 2026)(2026-06-27)

2026仪器仪表、先进材料与智能制造国际会议(ICIAMIM 2026)(2026-07-02)

2026年第五届机器学习、云计算与智能挖掘国际会议(2026-07-10)

2026年IEEE第三届先进机器人, 自动化工程与机器学习国际会议(ARAEML 2026)(2026-07-24)

第六届互联网技术与教育信息化国际学术会议 (ITEI 2026)(2026-07-24)

第五届航空航天工程与系统国际研讨会(ISAES 2026)(2026-07-24)

第十届教育、管理与社会科学国际学术会议 (ISEMSS 2026)(2026-07-24)

第六届电气工程与机电一体化技术国际学术会议(ICEEMT 2026)(2026-07-24)

第五届能源与电力系统国际学术会议 (ICEEPS 2026)(2026-07-24)

第九届声学、振动、噪声控制国际研讨会(CAVNC 2026)(2026-08-07)

2026年教育、人文发展与艺术国际会议(EHDA 2026)(2026-7-30)

2026年传感技术、仪器仪表与导航控制国际会议(ICSTINC 2026)(2026-7-9)

2026年大数据经济、风险管理与信息化管理国际会议(ICBDERM 2026)(2026-7-23)

2026半导体、电子信息与通讯网络国际会议(ICSEICN 2026)(2026-6-29)

2026年计算机视觉应用与信息学国际会议(ICCVAI 2026)(2026-7-21)

2026年先进电子材料、半导体器件与集成技术国际会议(IAEMDT 2026)(2026-8-6)

2026年水利工程、清洁能源与发电技术国际会议(IWEPGT 2026)(2026-7-31)

2026年计算机科学、数据分析与智能计算国际会议(CSDAIC 2026)(2026-7-1)

2026计算摄影、测绘与地理信息国际会议(ICCPSGI 2026)(2026-7-27)

2026年数学、管理科学与计算机科学国际会议(ICMMSCS 2026)(2026-7-19)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。
综合推荐区