- 关于查国际学术会议地点的方法 57
- 介绍一些动物医学领域的优秀论文题 46
- 清华大学郑泉水院士团队在纳米结构 72
- 知网查重的标准有哪些 43
- 找到适合的EI期刊投稿可采取的步 59
- 期刊发表迟迟收不到样刊是怎么回事 55
- 如何计算SCI期刊的版面费 62
- 清华大学 医学院那洁课题组通过多 47
- 《中国医疗管理科学》期刊指南 47
- 投稿会议论文是否会被sci检索到 74
- 写作论文理论基础过程中要注意哪些 47
- 关于个人出书后是否拥有著作权以及 53
- 了解一些优秀的天体地质学论文题目 44
- 关于EI会议论文的相关信息和可能 75
- 清华大学物理系杨乐仙课题组在准二 57
- 2016年第三届管理科学与管理创 1383
- 超飞巨英合特会展公司 17390
- 中华医学会 20399
- ASTIRC 1354
- 百奥泰集团 1376
- 广州农林实业有限公司 17382
- 多福多寿 22411
- 武汉华联帕博文化传播有限公司 22412
- 上海聚亿展览服务有限公司 1371
- 广州市香港科大霍英东研究院 20414
- fdcv 7396
- 纳米操作、制造与测量国际会议(M 1408
- 中国化学会甲壳素专业委员会 23378
- 北京电子学会 20422
- MECS2016组委会 1367
- 武汉 23379
- WILL 1380
- HKSME 22358
- 北京外研社国际会议中心 17417
- 华南出版社(广东)有限公司 1383
清华大学医学院廖洪恩课题组在人工智能视觉三维重建方面取得重要进展
2024/04/28
我们生活在一个三维的世界中,三维信息对于我们的感知和理解这个世界至关重要。从二维显示中获得深度信息可以更好地实现人机交互;获取和处理实时三维路况信息是自动驾驶技术的关键;医生在手术场景中获取三维信息可以更精确地识别和处理病灶位置……获取、恢复和重建三维信息,是计算机视觉领域的核心研究内容,在工业、娱乐、教育、医疗等领域有着广泛应用前景。
两视图几何是三维重建的基础。在两幅相关图片中找到对应于同一三维点的二维特征点,即建立匹配关系,可以计算出位姿变换和三维点坐标,这是许多三维重建任务的基础步骤,比如运动恢复结构(structure from motion, SFM),同时定位与地图构建(simultaneous localization and mapping,SLAM)等。一般通过对提取到的特征点建立描述符,然后根据最近邻关系进行初步匹配。这样得到的匹配关系存在大量的误匹配(可能高达95%),因此需要识别并剔除错误匹配(outlier rejection)。传统的方法是基于随机一致性采样(RANSAC),但是在视角变换大、亮度变换剧烈、存在遮挡等情况中无法取得满意效果。因此,如何更好地识别和剔除误匹配成为了三维重建中的瓶颈任务。
近日,清华大学医学院生物医学工程系廖洪恩教授课题组的学术论文“OANet:基于层次结构的图神经网络来学习两视图几何匹配关系建立”(OANet: Learning Two-View Correspondences and Geometry Using Order-Aware Network)被国际电气电子工程师学会-模式分析与机器智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE TPAMI)出版,刊登在2022年第44期第6卷。该研究通过设计一个新的图神经网络结构,对两视图的初步匹配关系进行误匹配识别和剔除,取得了很好的结果,极大提升了三维重建任务的效果。IEEE TPAMI是人工智能领域公认的知名期刊之一,也是中国计算机学会认定的人工智能领域A类期刊之一。
图1. 本研究提出的OA-Net网络结构
廖洪恩课题组提出了一种新的神经网络结构OANet(Order-Aware Network,图1)实现了对误匹配的高效识别和剔除。该网络以初始建立的匹配点对为输入,输出每对点对是正确匹配的概率。由于输入点对没有顺序关系,无法应用卷积神经网络,本研究从图卷积中的池化操作得到启发,以多层神经网络为基本结构,设计了差异化池化层(Differentiable Pooling layer)模块(图2左),通过训练得到一个分配矩阵(assignment matrix),将该矩阵和输入点对矩阵相乘,实现对输入点对的聚类(cluster)。文中证明,这样得到的聚类是输入不变的(permutation-equivariant),即无论输入点对是以什么顺序进入网络,得到的聚类顺序是不变的,这样通过网络学习到了输入点对的内在结构。为了使得网络能对每个输入点对都进行分类,又设计了差异化反池化层(Differentiable Unpooling Layer)模块(图2右),通过学习到一个反池化分配矩阵(unpooling assignment matrix),将聚类反投影成为与输入点对一一对应的输出结构。利用新的池化和反池化操作,可以构建层次化的图神经网络,从而极大地提升了基于多层神经网络的图神经网络的表达能力,并保持了O(N)的复杂度。网络最终为每个输入点对都被分配了一个概率,表示是否为正确匹配,以这个概率加权的八点法得到的两视图基本矩阵作为损失函数对网络进行训练。在应用阶段,剔除掉低概率的点对,就能实现对匹配的识别和过滤。
图2. 左:差异化池化层(Differentiable Pooling layer)模块;右:差异化反池化层(Differentiable Unpooling Layer)模块
本研究使用该网络结构在多个任务中进行了实验,包括室内室外数据集上的位姿估计任务、运动恢复结构任务、视觉定位任务,都极大提升了重建精度,并超越了同时期其他算(图3)法。相关的研究方法曾在IEEE国际计算机视觉与模式识别会议(CVPR 2019)图像匹配比赛中取得了第一名,并在视觉定位任务中也取得了最优(state-of-the-art)。本研究提出的网络结构通用性好,对特征点提取等步骤没有限制。匹配点对的内在结构和是否是正确匹配由网络训练得到,无需人工定义,可以非常方便地在特定任务中“即插即用”(Plug-and-Play)。本研究还对网络的泛化性进行了实验,结果表明提出的网络泛化性好,有迁移到其他非自然图像场景的应用潜力。
图3. 在室内室外位姿估计任务中和其他方法对比,最下一行是本研究提出的方法
清华大学医学院教授廖洪恩是该研究的通讯作者,2020届博士毕业生张家辉为该研究的第一作者。该研究得到国家自然科学基金项目国家重大科研仪器研制项目、国家重点研发计划重点专项、北京市自然科学基金等项目支持。
廖洪恩课题组长期致力于三维医学影像和微创精准诊疗的研究,依据临床手术过程中的实时信息指引,以实施精密治疗从而提高治愈率和患者的生存质量(Quality of Life)为目的,致力于创建和推广一种以增强现实医学影像显示技术和智能微创器械为诊断和治疗平台的精准微创诊疗一体化模式。课题组先后提出了基于术前术中多模态信息融合分析实时诊疗引导、智能型微创手术机器人辅助精准诊疗等理论与系统,为针对复杂外科疾病的跨尺度多模态成像引导智能化诊疗理论的建立奠定了坚实的基础,相关研究被国际知名学术期刊《医学影像分析》(Medical Image Analysis)、《IEEE医学影像汇刊》(IEEE Transaction on Medical Imaging)、《柔性机器人技术》(Soft Robotics)、《诊疗》(Theranostics)等报道。
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学物理学院大气与海洋科学系俞妍研究员与合作者在全球野火长期趋势预测研究方面取得重要进展
上海交通大学附属仁济医院在鼻腔菌群对过敏性鼻炎影响方面取得研究进展
中山大学黄辉教授团队在细胞衰老和血管钙化防治研究方面取得进展
北京大学物理学院曲波课题组在全无机非铅钙钛矿量子点研究领域取得一系列新进展
清华大学团队课题组合作开发针对H3.3K27M突变型弥漫内生型脑桥胶质瘤的治疗方案
中南大学湘雅三医院吕奔教授团队在高体温诱发脏器损伤的机制研究方面取得进展
北京大学未来技术学院陈知行课题组与合作者开发染料抗光漂白巯基标记新策略
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年机械制造工程, 材料与结构工程国际会议·(MMEMSE 2024)(2024-6-27)
2024年石油化工、岩土地质勘探与矿产资源国际学术会议(PIGGEMR 2024)(2024-7-27)
2024年高等教育与教育信息化国际会议(ICHEEI 2024)(2024-6-29)
2024智慧交通与计算机科学工程国际会议(STCSE 2024)(2024-7-31)
2024年亚太计算技术、通信与网络国际会议(CTCNet 2024)(2024-7-26)
2024年经济、大数据与区块链国际学术会议(ICEBDB 2024)(2024-5-29)
2024年清洁能源,低碳与可持续发展国际会议(CELCSD 2024)(2024-6-20)
2024年医学发展与生物科学国际学术会议(ICMDBS 2024)(2024-6-20)
2024年第8届通讯与未来互联网国际会议(ICCFI 2024)(2024-7-19)
2024年第九届亚太智能机器人系统国际会议(ACIRS 2024)(2024-7-18)