- 分享有关期刊及会议基本知识的总结 58
- 关于《军事医学》期刊简单介绍 37
- 探讨评正教授专著是否必须是独著的 50
- 论文中的图表怎么避免查重 49
- 文学的优秀论文题目有哪些呢? 50
- 在碳复合材料领域具有重要影响力的 58
- 北京大学汇丰商学院李凯与合作者在 79
- 如何了解期刊是否需要交审稿费呢? 56
- MDPI地质期刊有哪些 46
- 介绍一些发表生理学相关论文的中文 53
- 参加学术会议需要经历的流程有哪些 66
- 常见的学术会议形式有哪些? 34
- 浙江大学左立见研究员、陈红征教授 50
- Journal of Senso 41
- 北京理工大学团队在构筑类富勒烯铌 64
- 中国土木工程学会港口工程分会 17390
- 北京林业大学 20407
- 清华大学 23410
- 湖南大学电气学院 20435
- 成都西经医院管理研究院 20409
- DDEA 20391
- 北京国际交流协会 22410
- fdf 23392
- 北京博亚国际展览有限公司 23382
- 唐山风火会务服务有限公司(www 23389
- BIT Congress Inc 23389
- 湖州师范学院 22393
- 美国德州大学大河谷分校 23374
- 亚州现代经济研究所 17410
- Global Science & 23377
- 德捷会晤服务有限公司 17413
- 中国环境科学学会 23373
- 中国项目管理协会 1371
- 中国矿业大学 7385
- 北京联佳业广告有限公司 7386
北京大学电子学院程翔教授团队首次提出“机器联觉”概念——通信与多模态感知智能融合领域的首个统一框架
2024/03/26
作为助力实现“万物智联”的核心技术之一,通信与感知融合技术是6G无线通信的一项关键技术。然而,现阶段主流的通信感知融合技术局限于通信与单一射频感知的融合(射频通感一体化),且局限于静态、低速场景,无法支撑6G典型应用场景的需求。为满足通信与感知系统极高的性能要求,需要挖掘通信与多模态感知之间存在的潜在关联,发挥“通”与“感”相互辅助的能力,促进通信与多模态感知的智能融合。
当前,通信与多模态感知智能融合领域虽已存在初步研究工作,但应用范围局限,缺乏系统框架来统一指导其设计思路与目标。受人类联觉启发,北京大学电子学院程翔教授团队在全球范围内首次系统化地建立并论述了通信和多模态感知智能融合的统一框架:机器联觉(Synesthesia of Machines, SoM),近日在最具权威的综述性期刊IEEE Communications Surveys & Tutorials发表,旨在推动通信与多模态感知智能融合理论的研究发展并指导该领域的相关研究,助力实现B5G/6G时代的泛在连接和网联智能。
基于机器联觉概念,程翔教授团队通过定义机器联觉的三种工作模式,首次系统总结了通信与多模态感知之间相互辅助增强的范式,为通信与多模态感知智能融合领域提供了统一的设计目标与思路(图1)。其具体包括唤起模式、增强模式与合作模式:唤起模式是指在通信单元不工作的情况下直接增强通信系统的性能;增强模式是指通信单元在获得基本射频信息的基础上,利用多模态感知为通信单元带来性能增强;合作模式是通过多模态环境数据的融合强化智能体的环境感知能力。考虑多模态感知与通信之间的固有差异并受人类联觉中脑神经网络的启发,程翔教授团队指出人工神经网络是机器联觉的三种工作模式中的核心工具。与通常采用的数据驱动方式不同,SoM需要以模型增强数据驱动的方式应用人工神经网络,在分析、研究通信系统和感知系统特定任务的理论基础上,实现多模态感知与通信之间可信可解释的智能融合。
图1:SoM及其三种工作模式示意图
基于机器联觉的三种工作模式,程翔教授团队分析得出,机器联觉的研究需要有数据和理论两方面的研究基础。数据基础指的是通信与多模态感知智能融合数据集,理论基础是指通信与多模态感知联觉机理(映射关系)。当前,数据基础仍然缺乏,理论基础也尚不明确。为此,程翔教授团队构建了首个通信与多模态感知智能融合仿真数据集,提供了高准确性与高保真度的通信与多模态感知数据。基于数据集的支撑,程翔教授团队探索了多模态感知信息与信道大、小尺度衰落特性间的映射关系,旨在为后续相关研究提供有效指导。
该工作的主要亮点如下:
(1)首次提出通信与多模态感知智能融合的统一框架:SoM强调了多模态感知的作用,拓展了多模态感知与通信相互辅助增强的应用方向,适用于6G时代更具有挑战性的应用场景。SoM为研究者们提供了对于通信与多模态感知智能融合领域全面、清晰、深入的认知。
(2)首次总结通信与多模态感知相互辅助增强的方式:定义SoM的三个工作模式,首次全面系统地给出了通信与多模态感知之间智能融合的设计目的和方式。
(3)首次分析通信与多模态感知智能融合的研究基础:分析得出SoM研究需要以通信与多模态感知智能融合数据集作为数据基础和通信与多模态感知联觉机理(映射关系)作为理论基础。
(4)首次综述该领域研究现状并给出最新研究成果及思路:该工作首次综述了当前通信与多模态智能融合领域的相关研究工作。在此基础上,该工作给出了程翔教授团队针对三种工作模式开展的最新的研究结果及设计思路,展现了SoM在优化通信和感知性能上的巨大潜力。基于SoM-唤起模式,程翔教授团队首次探索了复杂高速移动场景下多模态感知数据与信道全(大、小)尺度衰落特性的复杂非线性联觉机理(映射关系)(图2a);基于SoM-增强模式,程翔教授团队提出以模型增强数据驱动的方式从多模态感知信息中挖掘不同隐式射频空间特征,设计了一系列高效通信系统传输方案(图2b);基于SoM-合作模式,程翔教授团队创新性地开展了基于任务语义的机器联觉协同感知工作,进行通信传输与环境感知网络联合设计,以优化非理想通信下协同感知性能(图2c)。
图2:程翔教授团队针对SoM的三种工作模式开展的最新研究结果及设计思路
该研究成果以“Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines”为题发表在通信领域最具权威的综述性期刊IEEE Communications Surveys & Tutorials上。该期刊2023年影响因子为35.6,在IEEE旗下所有期刊中排名第一,代表了该领域的学术前沿和未来的发展方向,年发文量仅有80篇。北京大学为该研究工作的第一完成单位,合作单位包括山东大学、香港科技大学(广州)、香港科技大学、三星半导体等。程翔为该论文的第一作者以及通讯作者。这项工作得到了国家自然科学基金委杰出青年科学基金、国家重点研发计划、新基石科学基金会科学探索奖等的支持。
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
清华大学深圳国际研究生院弥胜利团队构建可重编程磁控柔性驱动器
深圳国际研究生院苏阳团队合作发现近室温制备范德华块体材料的新方法
北京大学生命科学学院陆剑课题组与合作者揭示新冠病毒密码子演化规律并提出mRNA疫苗优化策略
北京大学工学院王启宁课题组在穿戴式机器人驱动系统仿生设计研究方面取得新进展
2024年度赴英参加“传染病的生态学与演进(EEID)”国际学术研讨会项目指南
清华大学电子系窦维蓓团队合作在多层级脑交互不对称性研究与应用方面取得进展
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年粮食、油脂及植物蛋白工程国际会议(GOPPE 2024)(2024-6-29)
2024年第7届信息通信与信号处理国际会议(ICICSP 2024)(2024-9-21)
2024年企业管理与对外贸易国际学术会议(ICEMFT 2024)(2024-6-25)
2024年云计算,智能系统与控制技术国际会议(CCISCT 2024)(2024-5-31)
2024年当代体育、运动健康与社会发展国际会议(CSSHSD 2024)(2024-6-30)
2024能源动力、机械自动化与航天航空技术国际学术会议(ICEPMAT2024)(2024-6-27)
2024年政治经济学与社会科学国际学术研讨会(ISPESS 2024)(2024-6-30)
2024年机械制造与航天航空工程国际会议(ICMMAE 2024)(2024-6-21)
2024年环境,地质工程与能源国际会议(ICEGEE 2024)(2024-5-30)
2024年艺术与文化交流国际会议 (ICACE 2024)(2024-5-30)