- 浙江大学在有机分子-稀土纳米晶复 62
- SCI审稿人长时间没有回复需要考 36
- 生物治疗学论文摘要写作的方法及范 35
- 探讨本科论文致谢的写作方法有哪些 51
- 案例与其相关概念之间有什么不一样 47
- 关于临床医学方向论文题目借鉴及期 50
- 酒店营销相关著作出版的步骤 48
- 专著最少需要多少字才能被认可呢? 59
- 戴志飞教授团队首次通过超声引导的 39
- SSCI论文一般需要经历的时间 43
- 《中华耳鼻咽喉头颈外科杂志》主题 45
- sci论文审稿回复要点及禁忌有哪 55
- ei期刊在国家新闻出版总署能查到 51
- 《中华肝胆外科杂志》期刊简介 42
- 北京大学物理学院乔宾课题组与合作 43
- 美国信息学会 23398
- 广播电视中心文山人民广播电台 17439
- 浙江大学电气工程学院 1394
- 南京八古堂文化发展有限公司 23402
- 国际工学技术出版协会 20400
- WILL 23371
- BIMTDoctor 17368
- 广东鸿威国际会展集团有限公司 7399
- 上海英致商务咨询有限公司 1394
- 吉林省北华大学师范分院美术系 20429
- 阿东数码电脑电器行 17394
- 上海圣大燕园文化传播有限公司 7404
- 北京诺尔康生物科技有限公司 23379
- 中国优生科学协会 22388
- 国际应用科学与技术协会 1441
- 上海电机制造协会 17404
- BVSB 7374
- SHDIF 7400
- 厦门海峡旅行社有限公司 22418
- 中国金属协会分析测试分会 20398
北京大学电子学院程翔教授团队首次提出“机器联觉”概念——通信与多模态感知智能融合领域的首个统一框架
2024/03/26
作为助力实现“万物智联”的核心技术之一,通信与感知融合技术是6G无线通信的一项关键技术。然而,现阶段主流的通信感知融合技术局限于通信与单一射频感知的融合(射频通感一体化),且局限于静态、低速场景,无法支撑6G典型应用场景的需求。为满足通信与感知系统极高的性能要求,需要挖掘通信与多模态感知之间存在的潜在关联,发挥“通”与“感”相互辅助的能力,促进通信与多模态感知的智能融合。
当前,通信与多模态感知智能融合领域虽已存在初步研究工作,但应用范围局限,缺乏系统框架来统一指导其设计思路与目标。受人类联觉启发,北京大学电子学院程翔教授团队在全球范围内首次系统化地建立并论述了通信和多模态感知智能融合的统一框架:机器联觉(Synesthesia of Machines, SoM),近日在最具权威的综述性期刊IEEE Communications Surveys & Tutorials发表,旨在推动通信与多模态感知智能融合理论的研究发展并指导该领域的相关研究,助力实现B5G/6G时代的泛在连接和网联智能。
基于机器联觉概念,程翔教授团队通过定义机器联觉的三种工作模式,首次系统总结了通信与多模态感知之间相互辅助增强的范式,为通信与多模态感知智能融合领域提供了统一的设计目标与思路(图1)。其具体包括唤起模式、增强模式与合作模式:唤起模式是指在通信单元不工作的情况下直接增强通信系统的性能;增强模式是指通信单元在获得基本射频信息的基础上,利用多模态感知为通信单元带来性能增强;合作模式是通过多模态环境数据的融合强化智能体的环境感知能力。考虑多模态感知与通信之间的固有差异并受人类联觉中脑神经网络的启发,程翔教授团队指出人工神经网络是机器联觉的三种工作模式中的核心工具。与通常采用的数据驱动方式不同,SoM需要以模型增强数据驱动的方式应用人工神经网络,在分析、研究通信系统和感知系统特定任务的理论基础上,实现多模态感知与通信之间可信可解释的智能融合。
图1:SoM及其三种工作模式示意图
基于机器联觉的三种工作模式,程翔教授团队分析得出,机器联觉的研究需要有数据和理论两方面的研究基础。数据基础指的是通信与多模态感知智能融合数据集,理论基础是指通信与多模态感知联觉机理(映射关系)。当前,数据基础仍然缺乏,理论基础也尚不明确。为此,程翔教授团队构建了首个通信与多模态感知智能融合仿真数据集,提供了高准确性与高保真度的通信与多模态感知数据。基于数据集的支撑,程翔教授团队探索了多模态感知信息与信道大、小尺度衰落特性间的映射关系,旨在为后续相关研究提供有效指导。
该工作的主要亮点如下:
(1)首次提出通信与多模态感知智能融合的统一框架:SoM强调了多模态感知的作用,拓展了多模态感知与通信相互辅助增强的应用方向,适用于6G时代更具有挑战性的应用场景。SoM为研究者们提供了对于通信与多模态感知智能融合领域全面、清晰、深入的认知。
(2)首次总结通信与多模态感知相互辅助增强的方式:定义SoM的三个工作模式,首次全面系统地给出了通信与多模态感知之间智能融合的设计目的和方式。
(3)首次分析通信与多模态感知智能融合的研究基础:分析得出SoM研究需要以通信与多模态感知智能融合数据集作为数据基础和通信与多模态感知联觉机理(映射关系)作为理论基础。
(4)首次综述该领域研究现状并给出最新研究成果及思路:该工作首次综述了当前通信与多模态智能融合领域的相关研究工作。在此基础上,该工作给出了程翔教授团队针对三种工作模式开展的最新的研究结果及设计思路,展现了SoM在优化通信和感知性能上的巨大潜力。基于SoM-唤起模式,程翔教授团队首次探索了复杂高速移动场景下多模态感知数据与信道全(大、小)尺度衰落特性的复杂非线性联觉机理(映射关系)(图2a);基于SoM-增强模式,程翔教授团队提出以模型增强数据驱动的方式从多模态感知信息中挖掘不同隐式射频空间特征,设计了一系列高效通信系统传输方案(图2b);基于SoM-合作模式,程翔教授团队创新性地开展了基于任务语义的机器联觉协同感知工作,进行通信传输与环境感知网络联合设计,以优化非理想通信下协同感知性能(图2c)。
图2:程翔教授团队针对SoM的三种工作模式开展的最新研究结果及设计思路
该研究成果以“Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines”为题发表在通信领域最具权威的综述性期刊IEEE Communications Surveys & Tutorials上。该期刊2023年影响因子为35.6,在IEEE旗下所有期刊中排名第一,代表了该领域的学术前沿和未来的发展方向,年发文量仅有80篇。北京大学为该研究工作的第一完成单位,合作单位包括山东大学、香港科技大学(广州)、香港科技大学、三星半导体等。程翔为该论文的第一作者以及通讯作者。这项工作得到了国家自然科学基金委杰出青年科学基金、国家重点研发计划、新基石科学基金会科学探索奖等的支持。
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学科维理尾上匡房研究团队探测到宇宙诞生初期类星体的寄主星系
清华大学 物理系周树云及合作者首次在半导体材料黑磷中实现了脉冲激光诱导的弗洛凯瞬时能带调控
北京大学化学与分子工程学院郭雪峰课题组报道单分子芯片制备实验流程
材料科学与工程学院于海峰课题组在液晶嵌段共聚物方面取得进展 实现了聚合物的光控机械性能互变与光热燃料电池存储
清华大学物理系刘永椿研究组合作提出大尺度薛定谔猫态制备新方法
北京大学城环学院朴世龙课题组应邀在Nature Reviews Earth & Environment发文揭示2023年全球植被生长状况
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年地质、遥感测绘与自然科学国际学术会议(GRSSMNS 2024)(2024-5-25)
2024年第七届知识管理系统国际会议(ICKMS 2024)(2024-6-24)
2024年大数据、财务管理与信息技术国际会议(ICBFMIT 2024)(2024-6-25)
2024年地理科学、测绘与遥感国际会议(GSSRS 2024)(2024-6-20)
2024年智能医疗与可穿戴智能设备国际学术会议(SHWID 2024)(2024-6-28)
2024文化产业发展、科学教育与设计鉴赏国际会议(ICDSEDA 2024)(2024-6-23)
2024年应用心理学与科学教育国际研讨会(ISAPSE 2024)(2024-6-21)
2024年化学技术与先进材料国际会议(ICCTAM 2024)(2024-5-25)
2024年电气工程、材料与自动化国际会议(EEMA 2024)(2024-7-27)
2024人工智能与生物医学国际会议(ICAIBS 2024)(2024-6-20)