我国学者在PID控制赋能深度学习加速优化方面取得进展
2025/06/01
图 PID控制赋能深度学习加速优化方法示意图:(a) 机器学习、控制和优化之间的联系;(b)从物理角度解释优化过程;(c) 受控重球优化器示意图;(d) 经典PID控制器示意图;(e) PIDAO加速优化器的结构,由PID机制的三个关键部分组成
在国家自然科学基金项目(批准号:61973270、62301486、12171431)资助下,浙江大学许超教授和蔡声泽研究员团队在比例-积分-微分(PID)控制赋能深度学习加速优化方面取得进展。研究成果以“基于比例-积分-微分控制器的深度学习加速优化(Accelerated optimization in deep learning with a proportional-integral-derivative controller)”为题,于2024年11月26日在《自然•通讯》(Nature Communications)上发表。论文链接:https://www.nature.com/articles/ s41467-024-54451-3。
如何理解模型训练优化的动态过程和设计高效加速优化算法是深度学习研究领域的一个重要难题。研究团队建立优化迭代过程的动力学模型,首次构造基于神经网络优化梯度信息的反馈控制律框架,实现对模型寻优过程的主动调控及稳定性和收敛性理论证明,增强深度学习训练优化的可解释性。同时,融合训练过程中的当前梯度信息(“比例”)、历史梯度信息(“积分”)和未来梯度信息(“微分”),提出基于PID反馈控制律的加速优化方法(PIDAO),实现深度神经网络的高性能优化。与国际主流训练优化器相比,PIDAO在图像识别、点云分类、神经网络求解微分方程等不同任务场景提升了30%以上的训练精度和收敛速度。
该研究运用PID反馈控制开辟了深度学习加速优化算法研究的新路径,从控制论新视角增强深度学习的可解释性并提升训练精度和效率,为Science for AI研究范式提供了新思路。
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
2026年1月高含金量国际学术会议合 12-12
-
第四届金融科技与商业分析国际学术会议 686
-
2026年第十一届复合材料与材料工程 1453
-
2025年机器视觉、智能成像与模式识 2126
-
2025年智能光子学与应用技术国际学 3284
-
2026年机械工程,新能源与电气技术 3476
-
2025年计算机科学、图像分析与信号 3917
-
2025年材料化学与燃料电池技术国际 3633
-
2026年交通数字化、人工智能与韧性 12-19
-
2026年社会文化与公共管理国际会议 12-19
-
2026年人文地理与语言研究国际会议 12-19
-
2026年社会发展与经济发展国际会议 12-19
-
2026年光伏材料、光电转换与可再生 12-19
-
2026年可持续发展与数字化社会国际 12-19
-
2026年管理科学、语言与教育国际会 12-19
-
2025年两院院士增选有效候选人2672
-
2025最新JCR分区及影响因子7552
-
好学术:科研网址导航|学术头条分3540
-
2025年国际期刊预警名单发布!3510
-
2025年中科院期刊分区表重磅发13412
-
中国科协《重要学术会议目录(207866
-
吉林大学校长张希:学术会议中的提4517
-
中国科大提出电化学一体化驱动策12-19
-
中国科大实现电泵浦片上集成高亮度12-19
-
西北农林科技大学【陕西新闻联播】12-19
-
中国科大实现片上非相干泵浦高品质12-19
-
中国科大中性原子量子计算研究成果12-19
-
炔烃远端C-O键的不对称活化转化12-19
-
研究揭示叶片内生真菌分子功能多样12-19
-
科研人员提出柑橘黄龙病防控新策略12-19
-
津安商务(天津)旅游会议有限公司 21100

-
华南出版社(广东)有限公司 2031

-
中科院国家空间科学中心 24312

-
山东省潍坊学院 18386

-
CCF 计算机工程与工艺专委会 8857

-
西安石油大学 23313

-
上海品恩展览有限公司 8001

-
江苏省扬州市 21312

-
哈尔滨工业大学 2245

-
上海恩伟展览工程有限公司 23220

-
重庆市化工职业学院 18242

-
国际智能信息技术应用学会IITA 18235

-
黑龙江省鹤北林业局 18177

-
北京交通大学海滨学院 21264

-
fdgre 24121

-
福州大学物理与信息工程学院 23184

-
河北卓达国际会展中心 23143

-
天津市电子学会 21128

-
WILL 24250

-
上海信世展览服务有限公司 8867

















184










































