当前位置:首页 >> 学术资讯 >> 科研信息

研究人员提出面向多模态推荐的解耦与蒸馏动态集成框架

2026/09/07

文章导读
多模态推荐中,各模态价值本有差异,但联合优化要求同时拟合全部样本,模型倾向于学习整体平均表现,差异化推荐价值被削弱。中国科学院软件研究所提出D3ER框架:先解耦共享与视觉、文本特有信息,再以知识蒸馏增强的梯度提升交替训练三类模型,专攻未充分拟合的样本。接入MGCN、DiffMM、PGL,在交互稀疏度超99.8%的Amazon数据集上稳定提升,论文已被ACM MM 2026接收。它能否成为通用增强方案?
— 内容由好学术AI分析文章内容生成,仅供参考。

近日,中国科学院软件研究所团队聚焦多模态推荐中模态信息差异化推荐价值被削弱的问题,针对联合学习与特征融合策略,引入梯度提升机制,提出了解耦与蒸馏动态集成框架,提升了模态共享信息和特有信息的样本级判别能力。

不同模态信息的差异化推荐价值是指各类型信息在用户之间表现出不同的贡献程度。联合优化的集成策略要求各模态同时拟合全部样本,导致模型倾向于学习整体平均表现,难以保持不同信息在特定样本上的优势。

针对上述问题,研究团队提出了由特征成分解耦模块和知识蒸馏增强的梯度提升模块组成的D3ER框架。特征成分解耦模块将多模态表示拆分为共享成分与特有成分,通过对比学习和分布对齐提取跨模态共享信息,并利用分离约束保留视觉、文本各自独有的任务相关语义。在此基础上,D3ER分别建立共享信息、视觉特有信息和文本特有信息对应的推荐模型,并通过梯度提升进行交替训练,使各模型重点学习此前尚未充分拟合的样本,发挥不同信息成分的优势,缓解联合训练造成的预测偏好弱化。

针对传统梯度提升需要持续保存历史模型的问题,D3ER进一步引入知识蒸馏,将累积知识压缩至固定规模模型中,并结合全局校正约束提升训练稳定性,在保持模型互补性的基础上,兼顾存储与计算效率。

研究团队将D3ER分别接入MGCN、DiffMM和PGL三种基座模型,在Amazon三个交互稀疏度均超过 99.8%的多模态推荐数据集进行对比实验,验证其对不同推荐架构的适配能力。结果显示,D3ER在三个数据集和多项评价指标上均稳定提升。消融实验表明,分别移除特征解耦、梯度提升与蒸馏机制后,模型性能均出现下降,其中移除全局校正约束的影响最为明显。

相关论文被多媒体领域国际学术会议ACM MM 2026接收。

研究人员提出面向多模态推荐的解耦与蒸馏动态集成框架

D3ER整体框架


版权声明:
文章来源软件研究所,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

2026年第9届信息系统与计算机辅助教育国际会议(ICISCAE 2026)(2026-09-27)

2026年艺术设计与视觉表达国际会议(AEVD 2026)(2026-09-28)

2026年第五届算法、数据挖掘和信息技术国际会议(ADMIT 2026)(2026-10-16)

2026年人工智能与机器人系统国际会议(ICAIRS 2026)(2026-10-23)

2026年第三届先进机器人, 自动化工程与机器学习国际会议(ARAEML 2026)(2026-10-23)

2026年第六届控制理论与应用国际会议(ICoCTA-2026)(2026-10-23)

2026年人工智能、大数据与云计算国际会议 (AIBDCC 2026)(2026-10-30)

2026年国际可再生、可持续能源和智能技术会议(2026-10-30)

2026年土木水利材料与高性能结构国际会议 (CHMHS 2026)(2026-10-30)

2026年农田水利、灌溉工程与节水技术国际会议(ICIEWTFWC 2026)(2026-10-30)

2026智能建造、绿色建材与土木工程国际会议(ICGBCE 2026)(2026-9-26)

2026年电子信息技术与信息安全国际会议(EITIS 2026)(2026-9-8)

2026年经济、电子商务与商业管理国际学术会议(ICEEBM 2026)(2026-9-21)

2026年人工智能、大数据与智慧城市国际学术会议(AIBDSC 2026)(2026-9-28)

2026年智能汽车、无人系统与导航定位国际会议(IVUSNP 2026)(2026-9-29)

2026土木工程、生态环境与能源材料国际会议(CEEEEM 2026)(2026-9-30)

2026年文化、社会经济与可持续发展国际会议(ICCSESD 2026)(2026-9-29)

2026工商管理、绿色经济与可持续发展国际会议(ICBAGSD 2026)(2026-9-29)

2026量子计算、自动控制与机器人感知国际会议(QCACRP 2026)(2026-9-19)

2026年电子电路、电力系统与计算机科学国际会议(ICECPSCS 2026)(2026-9-26)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。