当前位置:首页 >> 学术资讯 >> 科研信息

上海交通大学在非规则信号的结构化学习理论方向取得新进展

2024/04/15


图 “混合ISTA”与残差连接的对比

  在国家自然科学基金项目(批准号:61932022、61931023、61720106001)资助下,上海交通大学熊红凯教授团队在非规则多媒体信号的结构化学习理论研究方面取得进展。研究成果以“混合迭代软阈值收缩算法:基于无约束深度神经网络、具有收敛保证的深度软阈值收缩算法展开网络(Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks)”为题于2023年3月3日发表在期刊《电气电子工程师协会·图形分析与机器智能汇刊》(IEEE Trans. Pattern Analysis and Machine Intelligence)上,论文链接:https://ieeexplore.ieee.org/document/9767634。

  如何根据信号可观测的演化结果探求信号本源是医学成像、遥感测控、机器视觉等领域广泛研究的一类反问题。传统优化算法求解反问题时,尽管具备理论解析性,但运算复杂、性能欠佳;深度神经网络尽管性能出色,但依赖经验化设计,加之其“黑盒”属性,无法保证模型稳定可靠。因此,亟待探索兼具理论解析性与优秀性能的反问题求解方法。

  针对上述问题,上海交通大学熊红凯教授研究团队构建了一种可解析的深度展开神经网络。他们基于迭代软阈值收敛算法(ISTA)提出了一种通用的算法改进框架“混合ISTA”,在标准ISTA及其五种基于神经网络的变体算法上进行拓展,构造了六种深度展开神经网络,并系统建立了特征表示和误差边界的解析理论;松弛了网络的拓扑结构约束,在迭代步骤中引入无结构约束的网络参数,在不破坏理论收敛性的前提下,保障高效率和高精度求解,完全释放模型性能。 “混合ISTA”的迭代步骤与著名的残差连接(Residual Connectivity)对比结果表明(图),虽然两者有部分相似之处,即都含有跨层连接操作,但“混合ISTA”通过引入两步带有可学习参数的近端梯度下降算子,对算子中的参数进行合理假设,理论证明网络输出的收敛性和加速收敛速率,从而提升网络性能。在信号稀疏重构的实验中,“混合ISTA”改进的算法在计算量百倍少于传统算法、参数量十倍少于神经网络算法时,重构性能依然领先,极大降低了计算功耗。

  项目研究成果赋予了“黑盒”性质的神经网络以理论解析性,开辟了设计可解释的深度神经网络新方向,为构建可信、可靠神经网络模型和新一代人工智能范式的变革提供了支撑,有助于进一步推动深度神经网络在反问题以及更多领域的应用。


版权声明:
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

2025艺术、服装设计与纺织科学国际会议(FDTS 2025)(2025-07-26)

第八届声学、振动、噪声控制国际研讨会(CAVNC 2025)(2025-08-09)

2025年矿山工程、地质工程与环境工程国际会议(ICMEGEEE 2025)(2025-08-10)

标准化、信息化、智能化(AI)赋能科技成果评估转化与高价值专利布局高级研修班(8月青岛)(2025-08-13)

第六届清洁能源与电力工程国际学术会议(ICCEPE 2025)(2025-08-15)

2025年可信大数据与人工智能国际会议(ICTBAI2025)(2025-08-21)

2025年第三届智能制造与自动化前沿国际会议(CFIMA 2025)(2025-08-22)

第六届物联网、人工智能与机械自动化国际学术会议 (IoTAIMA 2025)(2025-08-22)

第五届测量控制与仪器仪表国际学术会议(MCAI 2025)(2025-08-22)

第十届工程机械与车辆工程新进展国际学术会议(ICACMVE 2025)(2025-08-22)

2025年心理健康与教育教学管理国际学术会议(ICMHEM 2025)(2025-8-4)

2025智能交通技术与施工技术国际会议(ITTCT 2025)(2025-8-12)

2025年第二届亚洲电子技术会议 (ACET 2025)(2025-11-12)

2025计算机科学、动力系统与电机控制国际会议(CSPSMC 2025)(2025-8-19)

2025机器学习、智能计算与数据模型国际会议(CMLID 2025)(2025-9-25)

2025年艺术设计、语言研究与数字化技术国际会议(ADLRDT 2025)(2025-8-28)

2025年机械自动化、智能控制与制造工程国际会议(MAICME 2025)(2025-9-12)

2025智慧交通、现代物流与运输国际会议(CITMLT 2025)(2025-8-19)

2025年历史、地理与文化传播国际会议(ICHGCC 2025)(2025-9-7)

2025年工程技术与农业科学国际会议(ETSAS 2025)(2025-9-27)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。