- 如何确定科学论文导师的署名 51
- 广州医科大学教授在宫内环境与遗传 57
- 如何利用Scopus数据库来选刊 36
- sci期刊怎么看小类学科分区的 42
- 分享现代教育科学论文写作指南 64
- 《成都中医药大学学报》期刊的主题 34
- 如何选择好的艺术相关论文题目 35
- 学术会议目前的发展前景是什么? 44
- 如何找到好的自费出书机构的方法 52
- 《锅炉技术》期刊投稿论文应具备的 55
- 《中国医学教育技术》期刊相关资讯 37
- 中国人民解放军第四军医大学西京医 49
- 开放学习研究论文发表 57
- 哪些原因说明良好的英语水平对于发 38
- EXPERIMENTAL PHY 32
- 中国矿业大学电气与动力工程学院 22372
- 数环云创(北京)科技有限公司 7428
- WWX 22378
- 武汉光电国家实验室 22375
- 广东外语外贸大学 17406
- 中国环境科学学会 23368
- ofweek 23367
- HKSME 22371
- 武汉奔诚文化传播有限公司 7434
- EAGWA 7375
- 航空工程学院 22369
- 云南财经大学 20379
- 上海百若萌文化传播 17392
- 赣南师范学院 22391
- 广东心域广告传媒有限公司 22412
- 中国科学院数学与系统科学研究院 7414
- 哈尔滨工程大学 20374
- 中国自动化学会 1376
- 中国土木工程学会港口工程分会 17386
- GREAR 1371
上海交通大学在非规则信号的结构化学习理论方向取得新进展
2024/04/15
图 “混合ISTA”与残差连接的对比
在国家自然科学基金项目(批准号:61932022、61931023、61720106001)资助下,上海交通大学熊红凯教授团队在非规则多媒体信号的结构化学习理论研究方面取得进展。研究成果以“混合迭代软阈值收缩算法:基于无约束深度神经网络、具有收敛保证的深度软阈值收缩算法展开网络(Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks)”为题于2023年3月3日发表在期刊《电气电子工程师协会·图形分析与机器智能汇刊》(IEEE Trans. Pattern Analysis and Machine Intelligence)上,论文链接:https://ieeexplore.ieee.org/document/9767634。
如何根据信号可观测的演化结果探求信号本源是医学成像、遥感测控、机器视觉等领域广泛研究的一类反问题。传统优化算法求解反问题时,尽管具备理论解析性,但运算复杂、性能欠佳;深度神经网络尽管性能出色,但依赖经验化设计,加之其“黑盒”属性,无法保证模型稳定可靠。因此,亟待探索兼具理论解析性与优秀性能的反问题求解方法。
针对上述问题,上海交通大学熊红凯教授研究团队构建了一种可解析的深度展开神经网络。他们基于迭代软阈值收敛算法(ISTA)提出了一种通用的算法改进框架“混合ISTA”,在标准ISTA及其五种基于神经网络的变体算法上进行拓展,构造了六种深度展开神经网络,并系统建立了特征表示和误差边界的解析理论;松弛了网络的拓扑结构约束,在迭代步骤中引入无结构约束的网络参数,在不破坏理论收敛性的前提下,保障高效率和高精度求解,完全释放模型性能。 “混合ISTA”的迭代步骤与著名的残差连接(Residual Connectivity)对比结果表明(图),虽然两者有部分相似之处,即都含有跨层连接操作,但“混合ISTA”通过引入两步带有可学习参数的近端梯度下降算子,对算子中的参数进行合理假设,理论证明网络输出的收敛性和加速收敛速率,从而提升网络性能。在信号稀疏重构的实验中,“混合ISTA”改进的算法在计算量百倍少于传统算法、参数量十倍少于神经网络算法时,重构性能依然领先,极大降低了计算功耗。
项目研究成果赋予了“黑盒”性质的神经网络以理论解析性,开辟了设计可解释的深度神经网络新方向,为构建可信、可靠神经网络模型和新一代人工智能范式的变革提供了支撑,有助于进一步推动深度神经网络在反问题以及更多领域的应用。
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
浙江大学医学院附属邵逸夫医院在改善细胞合成代谢用于骨关节炎治疗方面取得进展
清华大学刘永进研究团队在基于人类感知和深度学习的艺术肖像线条画生成方面取得进展
北京大学人民医院高占成教授研究团队首次建立从端粒到端粒的中国人全基因组
化学学院余志祥课题组十五年的[5+2+1]反应机理研究取得进展
沈阳师范大学/中国石油大学(北京)在甲烷低温高效选择性氧化研究方面取得进展
北京大学人工智能研究院李萌课题组提出高效隐私计算新范式,协同优化神经网络架构与隐私推理协议
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年文化、艺术设计与社会科学国际学术会议(ICCADSS 2024)(2024-07-25)
第七届智能机器人与控制工程国际会议(IRCE 2024)(2024-08-07)
2024年深度学习、通信工程与计算机网络国际研讨会(ISDLCECN 2024)(2024-6-26)
2024年历史文学、艺术教育与设计国际会议(ICHLAED 2024)(2024-6-20)
2024年企业经济管理与大数据国际会议(ICEEMBD 2024)(2024-5-25)
2024年第三届电力和能源前沿亚洲会议(ACFPE 2024)(2024-10-25)
第五届精神病学国际大会(CP 2024)(2024-5-31)
2024年企业商务管理、市场营销与可持续经济国际学术会议(CBMMSE 2024)(2024-6-15)
2024年电力,电网与储能技术国际会议(EGEST 2024)(2024-5-16)
2024年人文教育与心理健康国际会议(ICHEMH 2024)(2024-6-16)
2024应用力学与物理学国际会议(ICAMP 2024)(2024-6-20)
第五届外语教育与语言学国际研讨会 (FLEL 2024)(2024-10-25)