当前位置:首页 >> 学术资讯 >> 科研信息

合肥工业大学在视听多模态场景理解研究方面取得进展

2024/04/12


图 视听多模态场景理解研究示意图

  在国家自然科学基金项目(批准号:61725203、62020106007、62272144、72188101)资助下,合肥工业大学汪萌研究团队在视听多模态场景理解研究方面取得进展。最新研究成果以“沿着视听事件线的对比正样本传播(Contrastive Positive Sample Propagation along the Audio-Visual Event Line)”为题,近日在线发表于《IEEE模式分析与机器智能汇刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence, TPAMI),论文链接:https://ieeexplore.ieee.org/document/9956870。

  自然生活中充斥着大量的声音和视觉信号,且两种信号往往伴随发生,比如,在一场音乐会中我们既能看到演奏家在深情地演奏乐器,也能听到美妙的音乐声。得益于听觉和视觉这两种最重要的感官,人类可以更全面准确地认知周边事物。如何让机器模仿人类这种智能,理解多模态的视听信号,是一个具有挑战且蕴含巨大价值的科学问题。

  该团队从探究音频信号和视觉信号的对应关系入手,针对视听事件定位任务提出了简单高效的正样本传播网络。该方法能够让模型从视频中感知最高度相关的音频-图像片段对进行特征聚合,从而学习更具判别力的视听特征表达。该方法相比于领域内现有其他研究方法,可在网络可学习参数量降低近90%的情况下,取得具有竞争力的性能。同时,该团队还构建了一个大规模的视听事件定位任务数据集,并基于此做了网络的泛化性研究。

  近年来,团队联合商汤科技等提出视听分割任务,让机器学习拥有定位并分割出发声物体的智能,相关研究工作以“视听分割(Audio-Visual Segmentation)”为题发表在当年《欧洲计算机视觉会议》(European Conference on Computer Vision)上。最新的研究成果聚焦于让机器对一个视频生成包含音频和视觉信息的精细化描述,相关工作以“精细化音视频描述 (Fine-grained Audible Video Description)”为题被2023年《计算机视觉和模式识别会议》(IEEE Computer Vision and Pattern Recognition conference)接收。


版权声明:
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

2026年智慧教育与数据挖掘国际学术会议(SEDM 2026)(2026-06-27)

2026仪器仪表、先进材料与智能制造国际会议(ICIAMIM 2026)(2026-07-02)

2026年第五届机器学习、云计算与智能挖掘国际会议(2026-07-10)

2026年IEEE第三届先进机器人, 自动化工程与机器学习国际会议(ARAEML 2026)(2026-07-24)

第六届互联网技术与教育信息化国际学术会议 (ITEI 2026)(2026-07-24)

第五届航空航天工程与系统国际研讨会(ISAES 2026)(2026-07-24)

第十届教育、管理与社会科学国际学术会议 (ISEMSS 2026)(2026-07-24)

第六届电气工程与机电一体化技术国际学术会议(ICEEMT 2026)(2026-07-24)

第五届能源与电力系统国际学术会议 (ICEEPS 2026)(2026-07-24)

第九届声学、振动、噪声控制国际研讨会(CAVNC 2026)(2026-08-07)

2026知识经济、智慧金融与当代贸易国际学术会议(ICKESFCT 2026)(2026-7-30)

2026医疗健康、医疗系统与电子技术国际会议(HMSET 2026)(2026-7-29)

2026年生物医学与食品科学国际会议(ICFSBS 2026)(2026-7-18)

2026年原子晶体、光学与纳米技术国际学术会议(ICACON 2026)(2026-6-27)

2026年应用物理与新能源科学国际会议(NESAP 2026)(2026-7-4)

2026年新能源科学与计算机技术国际会议(NESCT 2026)(2026-7-4)

2026年材料科学、能源科学与纳米技术国际会议(MSESN 2026)(2026-7-9)

2026年设计、城镇规划与人文地理国际会议(PDHG 2026)(2026-7-31)

2026年智慧气象、遥感技术与地理信息国际学术会议(SMRSTGI 2026)(2026-8-2)

2026电磁波、通信安全与电气技术国际会议(EWCSET 2026)(2026-7-8)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。
综合推荐区