作为助力实现“万物智联”的核心技术之一，通信与感知融合技术是6G无线通信的一项关键技术。然而，现阶段主流的通信感知融合技术局限于通信与单一射频感知的融合（射频通感一体化），且局限于静态、低速场景，无法支撑6G典型应用场景的需求。为满足通信与感知系统极高的性能要求，需要挖掘通信与多模态感知之间存在的潜在关联，发挥“通”与“感”相互辅助的能力，促进通信与多模态感知的智能融合。

当前，通信与多模态感知智能融合领域虽已存在初步研究工作，但应用范围局限，缺乏系统框架来统一指导其设计思路与目标。受人类联觉启发，北京大学电子学院程翔教授团队在全球范围内首次系统化地建立并论述了通信和多模态感知智能融合的统一框架：机器联觉（Synesthesia of Machines, SoM），近日在权威综述性期刊IEEE Communications Surveys & Tutorials发表，旨在推动通信与多模态感知智能融合理论的研究发展并指导该领域的相关研究，助力实现B5G/6G时代的泛在连接和网联智能。

基于机器联觉概念，程翔团队通过定义机器联觉的三种工作模式，首次系统总结了通信与多模态感知之间相互辅助增强的范式，为通信与多模态感知智能融合领域提供了统一的设计目标与思路（图1）。其具体包括唤起模式、增强模式与合作模式：唤起模式是指在通信单元不工作的情况下直接增强通信系统的性能；增强模式是指通信单元在获得基本射频信息的基础上，利用多模态感知为通信单元带来性能增强；合作模式是通过多模态环境数据的融合强化智能体的环境感知能力。考虑多模态感知与通信之间的固有差异并受人类联觉中脑神经网络的启发，程翔团队指出人工神经网络是机器联觉的三种工作模式中的核心工具。与通常采用的数据驱动方式不同，SoM需要以模型增强数据驱动的方式应用人工神经网络，在分析、研究通信系统和感知系统特定任务的理论基础上，实现多模态感知与通信之间可信可解释的智能融合。

图1：SoM及其三种工作模式示意图

基于机器联觉的三种工作模式，程翔团队分析得出，机器联觉的研究需要有数据和理论两方面的研究基础。数据基础指的是通信与多模态感知智能融合数据集，理论基础是指通信与多模态感知联觉机理（映射关系）。当前，数据基础仍然缺乏，理论基础也尚不明确。为此，程翔团队构建了首个通信与多模态感知智能融合仿真数据集，提供了高准确性与高保真度的通信与多模态感知数据。基于数据集的支撑，程翔团队探索了多模态感知信息与信道大、小尺度衰落特性间的映射关系，旨在为后续相关研究提供有效指导。

该工作的主要亮点如下：

（1）首次提出通信与多模态感知智能融合的统一框架：SoM强调了多模态感知的作用，拓展了多模态感知与通信相互辅助增强的应用方向，适用于6G时代更具有挑战性的应用场景。SoM为研究者们提供了对于通信与多模态感知智能融合领域全面、清晰、深入的认知。

（2）首次总结通信与多模态感知相互辅助增强的方式：定义SoM的三个工作模式，首次全面系统地给出了通信与多模态感知之间智能融合的设计目的和方式。

（3）首次分析通信与多模态感知智能融合的研究基础：分析得出SoM研究需要以通信与多模态感知智能融合数据集作为数据基础和通信与多模态感知联觉机理（映射关系）作为理论基础。

（4）首次综述该领域研究现状并给出最新研究成果及思路：该工作首次综述了当前通信与多模态智能融合领域的相关研究工作。在此基础上，该工作给出了程翔团队针对三种工作模式开展的最新的研究结果及设计思路，展现了SoM在优化通信和感知性能上的巨大潜力。基于SoM-唤起模式，程翔团队首次探索了复杂高速移动场景下多模态感知数据与信道全（大、小）尺度衰落特性的复杂非线性联觉机理（映射关系）（图2a）；基于SoM-增强模式，程翔团队提出以模型增强数据驱动的方式从多模态感知信息中挖掘不同隐式射频空间特征，设计了一系列高效通信系统传输方案（图2b）；基于SoM-合作模式，程翔团队创新性地开展了基于任务语义的机器联觉协同感知工作，进行通信传输与环境感知网络联合设计，以优化非理想通信下协同感知性能（图2c）。

图2：程翔团队针对SoM的三种工作模式开展的最新研究结果及设计思路

该研究成果以“Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines”为题发表在IEEE Communications Surveys & Tutorials上。该期刊2023年影响因子为35.6，在IEEE旗下所有期刊中排名第一，代表了该领域的学术前沿和未来的发展方向，年发文量仅有80篇。北京大学为该研究工作的第一完成单位，合作单位包括山东大学、香港科技大学（广州）、香港科技大学、三星半导体等。程翔为该论文的第一作者以及通讯作者。这项工作得到了国家自然科学基金委杰出青年科学基金、国家重点研发计划、新基石科学基金会科学探索奖等的支持。