合肥工业大学在视听多模态场景理解研究方面取得进展
2024/04/12
![]() |
图 视听多模态场景理解研究示意图
在国家自然科学基金项目(批准号:61725203、62020106007、62272144、72188101)资助下,合肥工业大学汪萌研究团队在视听多模态场景理解研究方面取得进展。最新研究成果以“沿着视听事件线的对比正样本传播(Contrastive Positive Sample Propagation along the Audio-Visual Event Line)”为题,近日在线发表于《IEEE模式分析与机器智能汇刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence, TPAMI),论文链接:https://ieeexplore.ieee.org/document/9956870。
自然生活中充斥着大量的声音和视觉信号,且两种信号往往伴随发生,比如,在一场音乐会中我们既能看到演奏家在深情地演奏乐器,也能听到美妙的音乐声。得益于听觉和视觉这两种最重要的感官,人类可以更全面准确地认知周边事物。如何让机器模仿人类这种智能,理解多模态的视听信号,是一个具有挑战且蕴含巨大价值的科学问题。
该团队从探究音频信号和视觉信号的对应关系入手,针对视听事件定位任务提出了简单高效的正样本传播网络。该方法能够让模型从视频中感知最高度相关的音频-图像片段对进行特征聚合,从而学习更具判别力的视听特征表达。该方法相比于领域内现有其他研究方法,可在网络可学习参数量降低近90%的情况下,取得具有竞争力的性能。同时,该团队还构建了一个大规模的视听事件定位任务数据集,并基于此做了网络的泛化性研究。
近年来,团队联合商汤科技等提出视听分割任务,让机器学习拥有定位并分割出发声物体的智能,相关研究工作以“视听分割(Audio-Visual Segmentation)”为题发表在当年《欧洲计算机视觉会议》(European Conference on Computer Vision)上。最新的研究成果聚焦于让机器对一个视频生成包含音频和视觉信息的精细化描述,相关工作以“精细化音视频描述 (Fine-grained Audible Video Description)”为题被2023年《计算机视觉和模式识别会议》(IEEE Computer Vision and Pattern Recognition conference)接收。
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
2026年第五届机器学习、云计算与智 26
-
2026年第二届计算机视觉与机器学习 627
-
2026年6月优质国际学术会议推荐 1157
-
2026年智慧教育与数据挖掘国际学术 813
-
2026年第11届生物医学信号与图像 697
-
2026资源、化学化工与应用材料国际 2559
-
2026年图像处理与数字创意设计国际 2369
-
2026年机械工程,新能源与电气技术 6849
-
2026年材料科学、低碳技术与动力工 2524
-
2026年海洋科学、水利工程与环境管 06-18
-
2026年环境工程、材料科学与循环经 06-18
-
2026年航空动力、流体力学与热物理 06-18
-
2026年地球化学、核物理与地质学国 06-18
-
2026年微机电、物理学与建模仿真国 06-18
-
2026年机械工程、电子技术与自动化 06-18
-
2026 JCR影响因子正式发布272
-
中国科协发布2025年《重要学术858
-
2026年新锐分区(原中科院期刊5648
-
2025年两院院士增选有效候选人5280
-
好学术:科研网址导航|学术头条分6842
-
2025年国际期刊预警名单发布!7028
-
2025年中科院期刊分区表重磅发24788
-
吉林大学校长张希:学术会议中的提8093
-
研究表明太阳耀斑终端激波可作为地06-24
-
研究揭示藻—菌共生体系强化养殖尾06-24
-
双功能手性双核镍催化研究获进展06-24
-
研究发现银河系中心极端环境下大质06-24
-
废塑料升级利用研究取得进展06-24
-
硒太阳能电池研究取得进展06-24
-
南京大学王涛团队首次发现110亿06-24
-
天津市塘沽区土地中心 18252

-
中南大学铁道学院 2642

-
中国医疗保健国际交流促进会氢分子 2774

-
2017年第二届计算智能和通信技 24396

-
上海交通大学 23497

-
汕头大学 8654

-
International As 8466

-
第二军医大学 21236

-
湖北学而升文化传播有限公司 8285

-
北京 23478

-
apise 23664

-
中国国联咨询有限公司 18663

-
ggicecc 18405

-
成都中阳实业公司 18425

-
江西南昌明月风光会展服务有限公司 18385

-
西南石油大学 2813

-
北京伊诺永明公关策划有限公司 23369

-
河南大学 24575

-
北京大华科技 18300

-
北京艾尚国际展览有限公司 2444





















958










































