- 关于《中国医学影像技术》期刊资讯 38
- 华中科技大学周迎教授团队在系统性 71
- 关于水处理论文选英文期刊是否认可 65
- 常见的科学文献检索方式 43
- wiley旗下期刊有哪些呢 44
- sci英文期刊审稿效率如何 62
- 关于植物科学英文著作选哪个出版社 38
- 如何制作学术会议墙报 222
- 介绍一些优秀的内科学论文题目 28
- 发表生医工程相关论文的核心期刊是 48
- 知网查重平台是否会对论文进行深度 53
- 关于2023年度博士后创新人才支 172
- 陈鹏/樊新元团队与合作者开发生物 62
- 探讨医学心理学论文摘要写作的方法 36
- 发表地表过程相关论文的中文学术期 51
- APISE 22375
- 北京中天紫微教育科技有限公司 17380
- 中国医疗卫生品牌协会 17400
- 京师博仁(北京)教育科技中心 20396
- 老兵速记公司 1367
- 上海同巨文化传播 7411
- 发展速度努力克服离开南京非公开 17398
- 湖南科技大学 23367
- BIMTDoctor 17367
- 沈阳博思教育 1405
- 中国光学工程学会 22371
- 2018年经济管理与绿色发展国际 22376
- 中信国安第一城国际会展中心 17418
- 上海新华投资发展有限公司 17388
- InfoBeyond Techn 1495
- 河南纳智博研会议服务有限公司 23394
- 中国能源学会 17375
- 湖北研学博科文化传播有限公司 7376
- 枣庄学院 22376
- 深圳市汉威展览策划有限公司 17367
清华大学医学院廖洪恩课题组在人工智能视觉三维重建方面取得重要进展
2024/04/28
我们生活在一个三维的世界中,三维信息对于我们的感知和理解这个世界至关重要。从二维显示中获得深度信息可以更好地实现人机交互;获取和处理实时三维路况信息是自动驾驶技术的关键;医生在手术场景中获取三维信息可以更精确地识别和处理病灶位置……获取、恢复和重建三维信息,是计算机视觉领域的核心研究内容,在工业、娱乐、教育、医疗等领域有着广泛应用前景。
两视图几何是三维重建的基础。在两幅相关图片中找到对应于同一三维点的二维特征点,即建立匹配关系,可以计算出位姿变换和三维点坐标,这是许多三维重建任务的基础步骤,比如运动恢复结构(structure from motion, SFM),同时定位与地图构建(simultaneous localization and mapping,SLAM)等。一般通过对提取到的特征点建立描述符,然后根据最近邻关系进行初步匹配。这样得到的匹配关系存在大量的误匹配(可能高达95%),因此需要识别并剔除错误匹配(outlier rejection)。传统的方法是基于随机一致性采样(RANSAC),但是在视角变换大、亮度变换剧烈、存在遮挡等情况中无法取得满意效果。因此,如何更好地识别和剔除误匹配成为了三维重建中的瓶颈任务。
近日,清华大学医学院生物医学工程系廖洪恩教授课题组的学术论文“OANet:基于层次结构的图神经网络来学习两视图几何匹配关系建立”(OANet: Learning Two-View Correspondences and Geometry Using Order-Aware Network)被国际电气电子工程师学会-模式分析与机器智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE TPAMI)出版,刊登在2022年第44期第6卷。该研究通过设计一个新的图神经网络结构,对两视图的初步匹配关系进行误匹配识别和剔除,取得了很好的结果,极大提升了三维重建任务的效果。IEEE TPAMI是人工智能领域公认的知名期刊之一,也是中国计算机学会认定的人工智能领域A类期刊之一。
图1. 本研究提出的OA-Net网络结构
廖洪恩课题组提出了一种新的神经网络结构OANet(Order-Aware Network,图1)实现了对误匹配的高效识别和剔除。该网络以初始建立的匹配点对为输入,输出每对点对是正确匹配的概率。由于输入点对没有顺序关系,无法应用卷积神经网络,本研究从图卷积中的池化操作得到启发,以多层神经网络为基本结构,设计了差异化池化层(Differentiable Pooling layer)模块(图2左),通过训练得到一个分配矩阵(assignment matrix),将该矩阵和输入点对矩阵相乘,实现对输入点对的聚类(cluster)。文中证明,这样得到的聚类是输入不变的(permutation-equivariant),即无论输入点对是以什么顺序进入网络,得到的聚类顺序是不变的,这样通过网络学习到了输入点对的内在结构。为了使得网络能对每个输入点对都进行分类,又设计了差异化反池化层(Differentiable Unpooling Layer)模块(图2右),通过学习到一个反池化分配矩阵(unpooling assignment matrix),将聚类反投影成为与输入点对一一对应的输出结构。利用新的池化和反池化操作,可以构建层次化的图神经网络,从而极大地提升了基于多层神经网络的图神经网络的表达能力,并保持了O(N)的复杂度。网络最终为每个输入点对都被分配了一个概率,表示是否为正确匹配,以这个概率加权的八点法得到的两视图基本矩阵作为损失函数对网络进行训练。在应用阶段,剔除掉低概率的点对,就能实现对匹配的识别和过滤。
图2. 左:差异化池化层(Differentiable Pooling layer)模块;右:差异化反池化层(Differentiable Unpooling Layer)模块
本研究使用该网络结构在多个任务中进行了实验,包括室内室外数据集上的位姿估计任务、运动恢复结构任务、视觉定位任务,都极大提升了重建精度,并超越了同时期其他算(图3)法。相关的研究方法曾在IEEE国际计算机视觉与模式识别会议(CVPR 2019)图像匹配比赛中取得了第一名,并在视觉定位任务中也取得了最优(state-of-the-art)。本研究提出的网络结构通用性好,对特征点提取等步骤没有限制。匹配点对的内在结构和是否是正确匹配由网络训练得到,无需人工定义,可以非常方便地在特定任务中“即插即用”(Plug-and-Play)。本研究还对网络的泛化性进行了实验,结果表明提出的网络泛化性好,有迁移到其他非自然图像场景的应用潜力。
图3. 在室内室外位姿估计任务中和其他方法对比,最下一行是本研究提出的方法
清华大学医学院教授廖洪恩是该研究的通讯作者,2020届博士毕业生张家辉为该研究的第一作者。该研究得到国家自然科学基金项目国家重大科研仪器研制项目、国家重点研发计划重点专项、北京市自然科学基金等项目支持。
廖洪恩课题组长期致力于三维医学影像和微创精准诊疗的研究,依据临床手术过程中的实时信息指引,以实施精密治疗从而提高治愈率和患者的生存质量(Quality of Life)为目的,致力于创建和推广一种以增强现实医学影像显示技术和智能微创器械为诊断和治疗平台的精准微创诊疗一体化模式。课题组先后提出了基于术前术中多模态信息融合分析实时诊疗引导、智能型微创手术机器人辅助精准诊疗等理论与系统,为针对复杂外科疾病的跨尺度多模态成像引导智能化诊疗理论的建立奠定了坚实的基础,相关研究被国际知名学术期刊《医学影像分析》(Medical Image Analysis)、《IEEE医学影像汇刊》(IEEE Transaction on Medical Imaging)、《柔性机器人技术》(Soft Robotics)、《诊疗》(Theranostics)等报道。
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学生命科学学院季雄团队揭示亚细胞定位对RNA聚合酶III命运调控的决定性作用
中国科学院大连化学物理研究所在甲烷与氧气室温直接催化转化领域取得进展
生命科学学院李毓龙团队利用新型GRAB探针解析组胺在睡眠-觉醒过程中的动态变化
北京大学物理学院吕劲课题组发现超细的砷化铟纳米线晶体管具有n型和p型对称的优异微缩性能
清华大学 深圳国际研究生院杨诚团队在长寿命水系钠离子电池及负极复合材料结构设计方面取得新进展
清华大学航院宝音课题组发现“振荡天星”2016 HO3的月球撞击起源
清华大学生命学院隋森芳、王宏伟和中科院生物物理所章新政合作取得光合领域里程碑研究成果
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年文化、艺术设计与社会科学国际学术会议(ICCADSS 2024)(2024-07-25)
第七届智能机器人与控制工程国际会议(IRCE 2024)(2024-08-07)
2024污染控制、绿色创新与城市规划国际会议(PCGIUP 2024)(2024-5-30)
2024年教育心理学与社会研究国际会议(ICEPSR 2024)(2024-6-29)
2024船舶技术与海洋工程国际会议(ICSTME 2024)(2024-6-25)
2024年水电、土木建筑与交通运输工程国际会议(ICHCETE 2024)(2024-5-28)
2024年第十届数字制造与自动化国际会议 (ICDMA 2024)(2024-9-20)
第四届互联网、教育与信息技术国际学术会议(IEIT 2024)(2024-5-31)
2024可持续发展、旅游管理与社会科学国际会议(ICSDTMSS 2024)(2024-5-27)
第四届大数据、人工智能与风险管理国际学术会议 (ICBAR 2024)(2024-6-28)
2024年经济管理与互联网大数据应用国际学术会议(ICEMIBA 2024)(2024-6-22)
2024年计算建模、仿真模拟与信息科学工程国际会议(CMSISE 2024)(2024-5-18)