我国学者在PID控制赋能深度学习加速优化方面取得进展
2025/06/01
图 PID控制赋能深度学习加速优化方法示意图:(a) 机器学习、控制和优化之间的联系;(b)从物理角度解释优化过程;(c) 受控重球优化器示意图;(d) 经典PID控制器示意图;(e) PIDAO加速优化器的结构,由PID机制的三个关键部分组成
在国家自然科学基金项目(批准号:61973270、62301486、12171431)资助下,浙江大学许超教授和蔡声泽研究员团队在比例-积分-微分(PID)控制赋能深度学习加速优化方面取得进展。研究成果以“基于比例-积分-微分控制器的深度学习加速优化(Accelerated optimization in deep learning with a proportional-integral-derivative controller)”为题,于2024年11月26日在《自然•通讯》(Nature Communications)上发表。论文链接:https://www.nature.com/articles/ s41467-024-54451-3。
如何理解模型训练优化的动态过程和设计高效加速优化算法是深度学习研究领域的一个重要难题。研究团队建立优化迭代过程的动力学模型,首次构造基于神经网络优化梯度信息的反馈控制律框架,实现对模型寻优过程的主动调控及稳定性和收敛性理论证明,增强深度学习训练优化的可解释性。同时,融合训练过程中的当前梯度信息(“比例”)、历史梯度信息(“积分”)和未来梯度信息(“微分”),提出基于PID反馈控制律的加速优化方法(PIDAO),实现深度神经网络的高性能优化。与国际主流训练优化器相比,PIDAO在图像识别、点云分类、神经网络求解微分方程等不同任务场景提升了30%以上的训练精度和收敛速度。
该研究运用PID反馈控制开辟了深度学习加速优化算法研究的新路径,从控制论新视角增强深度学习的可解释性并提升训练精度和效率,为Science for AI研究范式提供了新思路。
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
2026年第五届机器学习、云计算与智 26
-
2026年第二届计算机视觉与机器学习 627
-
2026年6月优质国际学术会议推荐 1157
-
2026年智慧教育与数据挖掘国际学术 813
-
2026年第11届生物医学信号与图像 697
-
2026资源、化学化工与应用材料国际 2559
-
2026年图像处理与数字创意设计国际 2369
-
2026年机械工程,新能源与电气技术 6849
-
2026年材料科学、低碳技术与动力工 2524
-
2026年海洋科学、水利工程与环境管 06-18
-
2026年环境工程、材料科学与循环经 06-18
-
2026年航空动力、流体力学与热物理 06-18
-
2026年地球化学、核物理与地质学国 06-18
-
2026年微机电、物理学与建模仿真国 06-18
-
2026年机械工程、电子技术与自动化 06-18
-
2026 JCR影响因子正式发布272
-
中国科协发布2025年《重要学术858
-
2026年新锐分区(原中科院期刊5648
-
2025年两院院士增选有效候选人5280
-
好学术:科研网址导航|学术头条分6842
-
2025年国际期刊预警名单发布!7028
-
2025年中科院期刊分区表重磅发24788
-
吉林大学校长张希:学术会议中的提8093
-
研究表明太阳耀斑终端激波可作为地06-24
-
研究揭示藻—菌共生体系强化养殖尾06-24
-
双功能手性双核镍催化研究获进展06-24
-
研究发现银河系中心极端环境下大质06-24
-
废塑料升级利用研究取得进展06-24
-
硒太阳能电池研究取得进展06-24
-
南京大学王涛团队首次发现110亿06-24
-
武汉依埃斯威广告有限公司 8378

-
北京幼盟汇会议服务有限公司 21301

-
鄂尔多斯九盟集团 18400

-
广东海洋大学 18381

-
美国梦缔雅国际集团 23341

-
上海鸿与智实业有限公司 24301

-
中华医学会放射学分会骨关节组 21756

-
国研博学教育科技(北京)有限公司 24290

-
云南师范大学 8350

-
武汉科严文化发展有限公司 23325

-
武汉大学 18654

-
北京似野文化传播有限公司 23273

-
WILL 8263

-
北京贝拓会展 18456

-
江西农业大学 8399

-
香港机械工程师协会 24271

-
赛特数码有限公司 18308

-
武汉青博盛学术服务有限公司 2341

-
中国土木工程学会港口工程分会 18710

-
西北工业大学 24351





















348










































