- 实用新型专利的水果削皮器具体实现 51
- 第一次接触知网查重不熟悉?五个步 32
- 正确发表SCI论文的建议 74
- 探讨读研时投稿一篇SCI一区论文 66
- 救援方向的科学期刊对推动救援行动 68
- 南京大学教授与海外合作者突破光学 54
- 常见的会议论文集刊号包括哪些? 74
- 讨论出版专著是否需要作者提供文稿 73
- 《福建画报》期刊的相关信息 45
- 清华大学生命学院张伟课题组开发新 36
- 《现代生物医学进展》期刊相关资讯 42
- 《外语研究》的相关信息 49
- 如何写好论文摘要呢? 77
- 浙江大学在有机分子-稀土纳米晶复 63
- 浅谈投稿国际学术会议的进行步骤 65
- 重庆第三军医大学新桥医院 17469
- 中国卫视传媒国际会展旅游 22365
- 北京中外企业人力资源协会 1395
- 江西省水利科学研究院 20394
- 北京品诺佳信息咨询有限公司 7402
- 内蒙古艾瑞会议服务有限公司 1378
- 百奥泰国际会议(大连)有限公司 23413
- 中国环境科学学会 7392
- 联合医学会展有限公司 17401
- 华南出版社(广东)有限公司 1384
- 中储粮油有限公司 22372
- 中南大学湘雅医院 20413
- 中国光大银行 20407
- 英论阁学术院 7403
- 香港维科信息产业研究中心 1379
- 欧曼展览(上海)有限公司 7378
- 点时文化传媒(北京)有限公司 1379
- 第三届教育科学与教育管理国际会议 20378
- International As 7397
- 上海英致商务咨询有限公司 22381
清华大学 电子系方璐团队在大规模光电智能计算方向取得进展
2024/03/28
随着大模型等人工智能技术的突破与发展,算法复杂度剧增,对传统计算芯片带来了算力和功耗的双重挑战。近年来,以光计算为基础、通过光电融合的方式构建光电神经网络的计算处理方法已经成为国际热点研究问题,有望实现计算性能的颠覆性提升。然而,光电神经网络的前向数学模型由对光场的精准物理建模得到,计算复杂度高、参数冗余度大;其学习机制沿用人工神经网络常用的梯度下降算法,面向大规模光电神经网络时优化速度慢、资源消耗高、收敛效果差。因此,现有学习架构仅能支撑小规模光电神经网络的训练,其网络容量和特征捕获能力不足以有效处理ImageNet等大型复杂数据集。
近日,清华大学电子工程系方璐副教授课题组提出了面向大规模光电智能计算的“光学-人工双神经元学习架构(DuAl-Neuron opTical-artificial lEarning,DANTE)”。其中光学神经元精准建模光场计算过程,人工神经元以轻量映射函数建立跳跃连接助力梯度传播,全局人工神经元与局部光学神经元以交替学习的机制进行迭代优化,在确保学习有效性的同时,大大降低了训练的时空复杂度,使得训练更大更深的光电神经网络成为可能。DANTE突破了大规模光电神经网络物理建模复杂、参数优化困难等桎梏,网络规模提升一至两个数量级,训练学习速度提升两个数量级。
图1.光学-人工双神经元学习架构(DANTE)
受限于算力瓶颈与显存容量,现有的单神经元学习方法仅能实现百万量级神经元的光电神经网络训练,难以满足ImageNet等复杂大规模数据集的训练需求。课题组在空间光智能计算平台上开展了大量仿真与物理实验验证,将现有百万量级光电神经元网络的训练时间从数十小时级缩短到了分钟级。课题组进一步基于DANTE,首次实现了亿级神经元的大规模光电神经网络训练与推理,在CIFAR-10、ImageNet等多个数据集上实现了与经典人工神经网络VGG-11和VGG-16相当的准确率。值得强调的是,在ImageNet基准上成功训练光电神经网络具有重要意义。这展现了DANTE在支撑大规模光电神经网络训练学习上的巨大潜力,有望推动光电智能计算从基于MNIST基准的原型验证阶段迈入到使用现代ImageNet基准来解决大规模现实问题的全新时代。
图2.DANTE在CIFAR-10和ImageNet数据集上的训练与推理性能评测
研究成果以“光学-人工双神经元架构训练大规模光电神经网络”(Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning)为题,于11月4日发表于《自然·通讯》(Nature Communications)期刊上。
清华大学电子工程系为论文的第一单位,方璐副教授为论文通讯作者,电子系博士后袁肖赟(清华大学水木学者、已出站)为论文第一作者,参加研究的作者还包括课题组博士生王勇(已毕业)、徐智昊,博士后周天贶。
该研究课题得到科技部科技创新2030—“新一代人工智能”重大项目,基础科学中心项目、面上项目,清华大学水木学者计划等的支持。
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学物理学院胡永云、聂绩课题组揭示大陆漂移驱动热带雨带迁移
昆明理工大学与海外合作者在解析早期胚胎细胞互作关系及机制方面取得进展
北京大学生物医学前沿创新中心曹云龙实验室揭示新冠病毒免疫印记重塑机制
清华大学附属北京清华在肝脏急性中央静脉区损伤后再生机制研究方面取得进展
中国医学科学院北京协和医院在慢性鼻窦炎的发病机制与治疗策略方面取得新进展
中国科学院化学研究所郑健研究员课题组在碳家族单晶新材料创制方面取得突破
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年人工智能与通信技术与计算机科学国际学术会议(ICAICTS2024)(2024-7-30)
2024计算建模、数据分析与信息经济国际会议(MDAIE 2024)(2024-5-22)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-5-24)
2024年应用数学和统计及数据分析国际学术会议(AMSDA 2024)(2024-5-25)
2024年土木工程与建筑规划国际学术会议(ICCEAP 2024)(2024-7-31)
2024年石油化工、岩土地质勘探与矿产资源国际学术会议(PIGGEMR 2024)(2024-7-27)
2024年数字经济与国际贸易国际研讨会(ISDEIT 2024)(2024-6-30)
2024材料化学、能源科学与复合材料国际会议(MCESCM 2024)(2024-5-30)
第十三届机械科学与工程国际会议(ICMSE 2024)(2024-5-24)
2024设计、文化与对外交流国际学术会议(ICDCFX 2024)(2024-5-30)