上海交通大学在非规则信号的结构化学习理论方向取得新进展
2024/04/15
![]() |
图 “混合ISTA”与残差连接的对比
在国家自然科学基金项目(批准号:61932022、61931023、61720106001)资助下,上海交通大学熊红凯教授团队在非规则多媒体信号的结构化学习理论研究方面取得进展。研究成果以“混合迭代软阈值收缩算法:基于无约束深度神经网络、具有收敛保证的深度软阈值收缩算法展开网络(Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks)”为题于2023年3月3日发表在期刊《电气电子工程师协会·图形分析与机器智能汇刊》(IEEE Trans. Pattern Analysis and Machine Intelligence)上,论文链接:https://ieeexplore.ieee.org/document/9767634。
如何根据信号可观测的演化结果探求信号本源是医学成像、遥感测控、机器视觉等领域广泛研究的一类反问题。传统优化算法求解反问题时,尽管具备理论解析性,但运算复杂、性能欠佳;深度神经网络尽管性能出色,但依赖经验化设计,加之其“黑盒”属性,无法保证模型稳定可靠。因此,亟待探索兼具理论解析性与优秀性能的反问题求解方法。
针对上述问题,上海交通大学熊红凯教授研究团队构建了一种可解析的深度展开神经网络。他们基于迭代软阈值收敛算法(ISTA)提出了一种通用的算法改进框架“混合ISTA”,在标准ISTA及其五种基于神经网络的变体算法上进行拓展,构造了六种深度展开神经网络,并系统建立了特征表示和误差边界的解析理论;松弛了网络的拓扑结构约束,在迭代步骤中引入无结构约束的网络参数,在不破坏理论收敛性的前提下,保障高效率和高精度求解,完全释放模型性能。 “混合ISTA”的迭代步骤与著名的残差连接(Residual Connectivity)对比结果表明(图),虽然两者有部分相似之处,即都含有跨层连接操作,但“混合ISTA”通过引入两步带有可学习参数的近端梯度下降算子,对算子中的参数进行合理假设,理论证明网络输出的收敛性和加速收敛速率,从而提升网络性能。在信号稀疏重构的实验中,“混合ISTA”改进的算法在计算量百倍少于传统算法、参数量十倍少于神经网络算法时,重构性能依然领先,极大降低了计算功耗。
项目研究成果赋予了“黑盒”性质的神经网络以理论解析性,开辟了设计可解释的深度神经网络新方向,为构建可信、可靠神经网络模型和新一代人工智能范式的变革提供了支撑,有助于进一步推动深度神经网络在反问题以及更多领域的应用。
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
2025最新JCR分区及影响因子1939
-
好学术:科研网址导航|学术头条分468
-
《时代技术》投稿全攻略:一位审稿499
-
2025年国际期刊预警名单发布!600
-
2025年中科院期刊分区表重磅发3957
-
中科院已正式发布2024年预警期861
-
2025年度国家自然科学基金项目727
-
中国科协《重要学术会议目录(202733
-
2024年国家自然科学基金项目评1138
-
2024年JCR影响因子正式发布1214
-
吉林大学校长张希:学术会议中的提1391
-
SCI论文插图全攻略:从规范解析08-01
-
国际学术会议参加经验是怎么样的呢08-01
-
掠夺性会议是怎么进行判断的呢?—08-01
-
SCI论文投稿费怎么交?202408-01
-
湖南长沙国防科技大学计算机学院微 18652
-
第三军医大学西南眼科医院 20846
-
有你相伴(北京)信息技术有限公司 23917
-
中国beb会议主办方 18039
-
中国电影基金会 21205
-
北京市西城区 1911
-
河南理工大学 21052
-
北京大学 17984
-
中国力学学会激波与激波管专业委员 17925
-
北京恒基雅泰咨询服务中心 22910
-
武汉海讯科技会务有限公司 17937
-
APISE 22984
-
北京文化与产业文化研究所 23105
-
黄山国际大酒店 20960
-
云南中国国旅商务服务部 18048
-
江西师范大学体育学院 20974
-
HKSME 23987
-
广州健世医疗器械有限公司 2065
-
上海歌闻展览有限公司 7954
-
wxx 23093