研究人员提出面向多模态推荐的解耦与蒸馏动态集成框架
2026/09/07
近日,中国科学院软件研究所团队聚焦多模态推荐中模态信息差异化推荐价值被削弱的问题,针对联合学习与特征融合策略,引入梯度提升机制,提出了解耦与蒸馏动态集成框架,提升了模态共享信息和特有信息的样本级判别能力。
不同模态信息的差异化推荐价值是指各类型信息在用户之间表现出不同的贡献程度。联合优化的集成策略要求各模态同时拟合全部样本,导致模型倾向于学习整体平均表现,难以保持不同信息在特定样本上的优势。
针对上述问题,研究团队提出了由特征成分解耦模块和知识蒸馏增强的梯度提升模块组成的D3ER框架。特征成分解耦模块将多模态表示拆分为共享成分与特有成分,通过对比学习和分布对齐提取跨模态共享信息,并利用分离约束保留视觉、文本各自独有的任务相关语义。在此基础上,D3ER分别建立共享信息、视觉特有信息和文本特有信息对应的推荐模型,并通过梯度提升进行交替训练,使各模型重点学习此前尚未充分拟合的样本,发挥不同信息成分的优势,缓解联合训练造成的预测偏好弱化。
针对传统梯度提升需要持续保存历史模型的问题,D3ER进一步引入知识蒸馏,将累积知识压缩至固定规模模型中,并结合全局校正约束提升训练稳定性,在保持模型互补性的基础上,兼顾存储与计算效率。
研究团队将D3ER分别接入MGCN、DiffMM和PGL三种基座模型,在Amazon三个交互稀疏度均超过 99.8%的多模态推荐数据集进行对比实验,验证其对不同推荐架构的适配能力。结果显示,D3ER在三个数据集和多项评价指标上均稳定提升。消融实验表明,分别移除特征解耦、梯度提升与蒸馏机制后,模型性能均出现下降,其中移除全局校正约束的影响最为明显。
相关论文被多媒体领域国际学术会议ACM MM 2026接收。
D3ER整体框架
文章来源软件研究所,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
2026年10月优质国际学术会议推荐 280
-
第五届传感、测量、通信与物联网技术国 435
-
2026年第15届计算与模式识别国际 690
-
2026年计算科学与学习技术前沿国际 519
-
2026年第三届计算机网络与云计算国 2966
-
2026资源、化学化工与应用材料国际 4066
-
2026年图像处理与数字创意设计国际 3769
-
2026年机械工程,新能源与电气技术 8771
-
2026年材料科学、低碳技术与动力工 4236
-
2026年文化产业管理、创意经济与城 09-16
-
2026年统计建模、数据分析与机器学 09-16
-
2026年机械工程、结构动力学与智能 09-16
-
2026年数字金融、区块链技术与产业 09-16
-
2026年计算机视觉与工业图像检测国 09-16
-
2026年桥隧建设、地下工程与岩土力 09-16
-
2026 JCR影响因子正式发布1932
-
中国科协发布2025年《重要学术2007
-
2026年新锐分区(原中科院期刊10469
-
2025年两院院士增选有效候选人6502
-
好学术:科研网址导航|学术头条分9003
-
2025年国际期刊预警名单发布!8859
-
2025年中科院期刊分区表重磅发30088
-
吉林大学校长张希:学术会议中的提9934
-
科研人员构建人造光合水凝胶微球09-16
-
科研人员构建bridge RNA09-16
-
海洋热浪生态效应研究取得进展09-16
-
科研人员提出机器学习辅助的“材料09-16
-
研究揭示芭蕉科染色体演化机制与花09-16
-
科研人员研发混合集成气体传感芯片09-16
-
西安交大孟令杰/党东锋团队联合 09-16
-
HKSME 23796

-
华中科技大学 21876

-
武汉依埃斯威广告有限公司 8754

-
中科云畅应用技术研究院 23680

-
北京博亚国际展览有限公司 2749

-
广东心域广告传媒有限公司 23820

-
VDAE 8749

-
中国化工企业管理协会医药化工专业 23827

-
中国环境科学学会 8478

-
中华燃气公司 18692

-
庆格尔泰(武汉)文化有限公司 2828

-
河南理工大学 23921

-
杭州译风会展服务有限公司 18630

-
中国科学院研究生院工程教育学院 23810

-
西安石油+IPPTC 24766

-
中国化学与物理电源行业协会 21999

-
中国连锁经营协会 21759

-
北京爱博国际展览有限公司 8937

-
WILL 8783

-
昆明康辉永诚旅行社有限公司 26145





















35








































