上海交通大学智能网联电动汽车创新中心团队在智能交通领域顶刊IEEE Transactions on Intelligent Transportation Systems（T-ITS）上发表题为“Learning-based 3D Reconstruction in Autonomous Driving: A Comprehensive Survey”的综述论文。文章主要探讨了基于学习的三维重建技术在自动驾驶场景中的演进与应用，为解决自动驾驶数据长尾问题、实现高保真闭环仿真提供了系统的技术路线图与未来展望。本文第一作者是溥渊未来技术学院2024级博士廖烈文，本文通讯作者是张颂安助理教授。

研究背景

随着自动驾驶技术向L4/L5级别迈进，系统对环境感知的精度与鲁棒性要求日益提高。实现可靠的自动驾驶，根本上取决于对三维环境的精准感知与整体理解，而这通常需要海量的、覆盖各种极端工况的高质量数据作为支撑。然而在真实世界中，获取如此大规模的多模态数据（如图像、LiDAR）不仅成本高昂，还伴随着显著的安全风险，尤其在面对罕见和紧急场景时。

为突破这一数据瓶颈，“数字孪生”与仿真技术成为关键路径。通过构建物理世界的高保真数字化副本，可在虚拟环境中以低成本、零风险的方式生成大量训练数据，并进行算法测试。传统重建方法（如摄影测量、SfM）在应对复杂光照、弱纹理区域以及动态交通参与者时，往往表现受限。而基于学习的三维重建技术（Learning-based 3D Reconstruction），凭借其利用神经网络对场景进行隐式或显式建模的强大能力，为创建兼具照片级真实感与几何精确性的驾驶场景提供了突破性解决方案，正逐步成为自动驾驶技术栈中的重要基础设施技术。

研究现状

过去几年，三维重建领域经历了从传统几何方法向深度学习方法的范式转移。2020年神经辐射场（NeRF）的提出成为一个重要转折，证明了神经场景表示能够实现前所未有的渲染真实感。随后，2023年兴起的3D高斯泼溅（3DGS）技术引入了显式的三维高斯原语表示，在保持高保真度的同时，借助高效的光栅化技术弥补了NeRF推理缓慢的不足，使实时渲染成为可能。

尽管相关研究呈指数增长，但现有综述往往局限于单一技术路线（仅探讨NeRF或3DGS），或脱离自动驾驶的具体语境（如多聚焦于室内小物体重建）。自动驾驶场景具有其独特性与复杂性：涵盖大规模无界场景、极度稀疏的传感器视角、以及包含大量高速运动的刚性或非刚性交通参与者。当前文献尚缺乏一项从自动驾驶真实需求出发，梳理从静态背景到动态场景，再到下游应用（如感知增强、闭环仿真、世界模型）的系统性研究。行业亟需一份能够衔接前沿图形学技术与自动驾驶工程实践的综合指南。

研究成果

针对上述缺失，本文对自动驾驶领域中基于学习的三维重建技术进行了全面系统的综述。文章没有停留于简单的算法罗列，而是紧密围绕自动驾驶的实际挑战与技术需求，构建了一套全新的分类学体系（Taxonomy）：

分层级的场景元素重建分析：文章首先深入探讨了静态背景重建中，如何平衡几何保真度与大规模场景优化的挑战；随后详细分析了交通智能体重建，区分了刚性物体（如车辆）与非刚性物体（如行人、骑行者）的不同建模策略，特别是针对人体姿态变形与运动的重建技术；

动态驾驶场景的时空建模：针对整车视角的动态场景，论文归纳了三大类时空建模范式：逐帧重建、场景图以及原生4D表示。其中，基于4D高斯的原生表示方法，被认为是未来实现无需3D框标注、动静自动解耦的最具潜力方向；

应用驱动的深度剖析：文章详细阐述了三维重建技术如何赋能自动驾驶核心任务，包括数据增强与多模态标签生成（如自动生成深度图、语义分割、光流）、定位与建图（SLAM）、场景理解（作为统一的场景特征表示）以及场景生成与仿真；

前瞻性的挑战与展望：文章不仅总结了技术现状，更指出了当前研究中被忽视的关键问题，包括天气/光照编辑的物理真实性、板载部署的算力限制，以及最为关键的生成数据对自动驾驶安全性影响的定量评估。文章最后探讨了结合世界模型与生成式AI，以实现可控场景生成与交互式闭环仿真的未来趋势。

作者信息

廖烈文

上海交通大学溥渊未来技术学院2024级博士研究生。研究方向：三维重建、三维生成以及闭环仿真技术。

张颂安

上海交通大学溥渊未来技术学院长聘教轨助理教授，智能网联电动汽车创新中心成员，主要从事自动驾驶汽车决策系统算法设计方面的研究，在TITS, TIV, CVPR,ICCV 等期刊与会议上发表30余篇论文。张颂安老师于2013年和2016年在清华大学车辆工程系分别获得本科和硕士学位，2021年于美国密歇根大学机械工程系获得博士学位，导师为Mcity Director彭晖教授。毕业后，其加入美国福特汽车公司机器人研究所担任研究员，并兼任福特—大学联合项目机器人方向提案评审组Committee Chair。2023年，张颂安老师加入上海交通大学溥渊未来技术学院。研究方向：智能车和机器人决策控制算法、强化学习、元强化学习、工业具身智能、AI辅助航空发动机设计。