- sci可以投综述的期刊有哪些 41
- sci期刊怎么看小类学科分区的 48
- 机床操控技术著作的公开出版的可行 56
- 关于学术会议如何记录数据的有效方 47
- 完整的论文提纲通常包括的内容有哪 71
- 清华大学材料学院吕瑞涛课题组与合 53
- 光学工程优秀论文题目合集有哪些 67
- 中科院上海微系统与信息技术研究所 57
- 研究生论文中包含致谢要被查重嘛 35
- 汽车相关实用新型专利转让是否容易 68
- 关于《中华手外科杂志》期刊简单介 36
- 关于《卫生经济研究》的期刊 43
- 《世界针灸杂志(英文版)》的特色 38
- 浙江大学伍广朋教授团队在可水显影 19
- 清华大学药学院陈立功课题组合作揭 54
- 管理与信息工程国际会议组委会 1401
- 20366
- 国际工学技术出版协会 23389
- 涿州众智会务服务有限公司 23382
- 中国风险投资研究院 1411
- 香港机械工程师协会 22394
- 上海决策者经济顾问有限公司 17372
- 武汉mst主办方 17399
- SG 7393
- 沈阳博思教育咨询有限公司 1397
- CTCE2017会务组 20407
- 中 华 医 学 17380
- 北京理工大学自动化学院 22403
- 河南省科学院地理研究所 1408
- 武汉优莱特文化发展有限公司 23375
- 上海交通大学 22389
- ICSD2017组委会 23391
- 武汉亚盟信息文化传播有限公司 23410
- 三峡工程大酒店 17395
- 湖南科技大学 20417
电子系方璐团队首创智能光计算终身学习架构
2024/04/26
人工智能任务日益复杂、多样且动态变化,传统机器学习方法往往基于固定数据集训练任务,无法适应环境变化,如何使AI系统具备多任务持续学习的能力成为亟需解决的问题。近年来,随着摩尔定律的停滞,以衍射神经网络为代表的光学架构作为新的计算模态,在功能和效率方面展现出巨大潜力。然而,当前光网络仍普遍存在“灾难性遗忘”(catastrophic forgetting)的问题,学习新任务会失去先前任务的记忆。受人脑实现可持续学习的神经突触机制启发,基于光天然物理上的稀疏性和并行性,清华大学电子工程系方璐副教授团队首创了智能光计算终身学习架构,突破光网络单一功能限制,支撑类脑并行多任务学习。通过稀疏光连接及多光谱并行计算等关键模块,赋予光计算系统超越现有技术的功能、通量与能效,为智能系统在边缘硬件的多任务部署提供了光速解决方案。
目前的人工智能模型大多只能处理给定的任务,当环境发生变化便无能为力,距离人们需要的通用智能相差甚远。智能系统的可持续学习能力是AI领域发展的重要瓶颈,正受到广泛关注。反观人类本身,在不断成长的过程中,人脑可以终身学习并掌握各种技能。如何借鉴人脑的终身学习机制,挖掘大规模可持续进化的计算范式成为了极具挑战性的研究方向。然而,传统硅基电子计算芯片的算力和功耗严重受限,难以满足现实迫切所需的大规模高通量数据处理需求,因此探索新的计算技术和模态是未来智能系统发展的必然趋势。
近年来,以光计算为基础、通过光电融合的方式构建光电神经网络已成为国际前沿的热点研究。然而,虽然以衍射神经网络为代表的各式光网络不断涌现,但是现有的光电系统中的基本光学计算单元普遍受限于固化的结构与较低的扩展性,极大地限制了光本身的物理潜能和计算能力,导致当前光网络只能实现简单的单一任务,学习新任务时无法克服灾难性遗忘的问题。
针对上述问题,方璐团队提出了终身学习光计算架构L2ONN(Lifelong Learning Optical Neural Network)(图1),创新性实现了可持续学习的多任务智能系统。受益于大规模光连接中固有的稀疏性和并行性,光计算天然地模仿了人脑中神经元和突触的终身学习机制。通过自适应地激活相干光场中的稀疏光连接来学习每个任务,同时逐渐激活光计算来持续获得对各种任务的经验信息,多任务光学特征由分配有不同波长的多光谱表征并行处理。所提出光终身学习架构从理论上确保了光本身物理特性带来的可扩展性和通用性,构建了新型神经形态计算体系,赋予智能系统以光速计算的能力。
图1.光终身学习框架示意图
为评估L2ONN的可持续学习能力,项目组在多个具有挑战性的数据集上进行了仿真验证(图2)。大量实验证实,L2ONN避免了普通光神经网络的灾难性遗忘问题,在多种数据(视觉分类、语音识别、医学诊断等)上完成多任务终身学习,其学习能力比普通光神经网络高出14倍以上。
图2.光终身学习架构在多项数据集下的增量学习结果
进一步,团队基于衍射计算模型实际制造了光终身学习芯片(图3),并利用其实现了持续学习和并行处理,完成了光学智能系统在边缘硬件的实际部署。最终结果表明,该芯片使用有限的计算资源,计算能效比典型的电神经网络高出一个数量级以上。
图3.光终身学习芯片原型系统、增量学习过程以及设计原理
研究提出的光计算终身学习架构展现了光计算非凡的学习能力。随着硅光芯片集成技术的发展,基于智能光计算终身学习架构的光芯片有效支撑多任务并行处理,为智能系统在边缘硬件的实际部署提供可持续学习的光速解决方案。该光计算架构以其在功能、通量、能效上的优势,有望显著提升人工智能系统的可扩展性和通用性,使机器智能拥有像人类一样对现实世界复杂任务的适应能力。
近日,该研究成果以“数十项任务终身学习的光子神经形态结构”(Photonic neuromorphic architecture for tens-of-task lifelong learning)为题,在线发表于《自然》(Nature)子刊《光:科学与应用》(Light:Science&Applications)。
清华大学电子工程系程远博士后为论文第一作者,方璐为论文通讯作者。研究得到国家自然科学基金委基础科学中心项目,科技部2030“新一代人工智能”重大项目,清华大学-之江实验室联合研究中心等的支持。
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年野生动植物保护与环境治理国际会议(ICWPEG 2024)(2024-6-29)
2024年云计算与物联网国际学术会议(ICCCIT 2024)(2024-6-26)
2024年第六届计算机,软件工程应用国际会议 (CSEA 2024)(2024-10-25)
2024人工智能与机器人系统国际学术会议(ICAIRS2024)(2024-5-27)
2024年事件预测、统计学与电子信息工程国际会议 (EPSEIE 2024)(2024-6-20)
2024年土木研究、结构抗震与机械工程国际会议(CRSSRME 2024)(2024-6-25)
2024年消费电子、区块链与计算机工程国际会议(CEBCE 2024)(2024-5-25)
2024智能算法、大数据与数据科学国际学术会议(IABDDS 2024)(2024-6-22)
2024年教育、心理学与社会科学国际学术会议(ICEPSS 2024)(2024-6-31)
2024城市建设与交通运输、土木工程国际学术会议(UCTCE 2024)(2024-5-25)