当前位置:首页 >> 学术资讯 >> 科研信息

合肥工业大学在视听多模态场景理解研究方面取得进展

2024/04/12


图 视听多模态场景理解研究示意图

  在国家自然科学基金项目(批准号:61725203、62020106007、62272144、72188101)资助下,合肥工业大学汪萌研究团队在视听多模态场景理解研究方面取得进展。最新研究成果以“沿着视听事件线的对比正样本传播(Contrastive Positive Sample Propagation along the Audio-Visual Event Line)”为题,近日在线发表于《IEEE模式分析与机器智能汇刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence, TPAMI),论文链接:https://ieeexplore.ieee.org/document/9956870。

  自然生活中充斥着大量的声音和视觉信号,且两种信号往往伴随发生,比如,在一场音乐会中我们既能看到演奏家在深情地演奏乐器,也能听到美妙的音乐声。得益于听觉和视觉这两种最重要的感官,人类可以更全面准确地认知周边事物。如何让机器模仿人类这种智能,理解多模态的视听信号,是一个具有挑战且蕴含巨大价值的科学问题。

  该团队从探究音频信号和视觉信号的对应关系入手,针对视听事件定位任务提出了简单高效的正样本传播网络。该方法能够让模型从视频中感知最高度相关的音频-图像片段对进行特征聚合,从而学习更具判别力的视听特征表达。该方法相比于领域内现有其他研究方法,可在网络可学习参数量降低近90%的情况下,取得具有竞争力的性能。同时,该团队还构建了一个大规模的视听事件定位任务数据集,并基于此做了网络的泛化性研究。

  近年来,团队联合商汤科技等提出视听分割任务,让机器学习拥有定位并分割出发声物体的智能,相关研究工作以“视听分割(Audio-Visual Segmentation)”为题发表在当年《欧洲计算机视觉会议》(European Conference on Computer Vision)上。最新的研究成果聚焦于让机器对一个视频生成包含音频和视觉信息的精细化描述,相关工作以“精细化音视频描述 (Fine-grained Audible Video Description)”为题被2023年《计算机视觉和模式识别会议》(IEEE Computer Vision and Pattern Recognition conference)接收。


版权声明:
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

2026年第9届信息系统与计算机辅助教育国际会议(ICISCAE 2026)(2026-09-27)

2026年艺术设计与视觉表达国际会议(AEVD 2026)(2026-09-28)

2026年第五届算法、数据挖掘和信息技术国际会议(ADMIT 2026)(2026-10-16)

2026年人工智能与机器人系统国际会议(ICAIRS 2026)(2026-10-23)

2026年第三届先进机器人, 自动化工程与机器学习国际会议(ARAEML 2026)(2026-10-23)

2026年第六届控制理论与应用国际会议(ICoCTA-2026)(2026-10-23)

2026年人工智能、大数据与云计算国际会议 (AIBDCC 2026)(2026-10-30)

2026年国际可再生、可持续能源和智能技术会议(2026-10-30)

2026年土木水利材料与高性能结构国际会议 (CHMHS 2026)(2026-10-30)

2026年农田水利、灌溉工程与节水技术国际会议(ICIEWTFWC 2026)(2026-10-30)

2026年社交媒体、网络治理与网络安全国际会议(SMNGC 2026)(2026-9-29)

2027年电气工程、自动化与应用工程国际会议 (EEAE 2027)(2027-3-15)

2026年半导体材料、集成电路与光电检测国际会议(SMICOT 2026)(2026-9-29)

2026年社会文化创新与数字化保护国际学术会议(SCIDP 2026)(2026-9-29)

2026年兵器科学、国防科技与信息技术国际会议(WSDTIT 2026)(2026-9-30)

2026物联网、人工智能与数据处理国际会议(ITAIDP 2026)(2026-9-29)

第二届人工智能与计算工程国际学术会议(AICE 2026)(2026-9-4)

2026精密仪器、机械自动化与电子信息工程国际会议(PIMAEIE 2026)(2026-9-6)

2027年测绘、遥感技术与地理信息国际会议(GSR 2027)(2027-1-16)

第八届人类遗传学与健康国际研讨会(HGH 2027)(2027-5-28)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。