- 发表论文评职称的经验总结 32
- 关于《河北医学》期刊资讯 33
- 英文期刊投一篇论文到底需要多久呢 58
- 北京大学未来技术学院韩梦迪课题组 55
- 探讨优秀的随机化算法论文题目的例 31
- 选sci期刊必看的几个指标是什么 42
- 探讨地震对建筑物的影响以及如何提 55
- 物理学院李强课题组在多玻色子物理 57
- 时间的故事——北京大学程和平/胡 57
- 体育心理学论文摘要写作的方法及范 29
- 详细介绍生物学SCI一区期刊的目 47
- 如何进行本科知网真伪查询呢? 44
- 清华团队实现基本多体模型的离子阱 29
- 《北京大学学报(医学版)》期刊简 45
- 高效且有效的快速降重技巧有哪些? 32
- 北京科技大学腐蚀与防护中心 20399
- 锐博生物 23387
- 武汉红矮星传媒有限公司 23372
- IETP 1368
- 呼伦贝尔金辉旅行社 17392
- 2016年创新材料科学与技术国际 1376
- 清华大学公共管理学院 7428
- 湖南科技大学 23364
- 中国科学院水生生物研究所 17407
- 南宁左江会展商务服务有限公司 17399
- GERSGRE 23442
- 北京会展公司 17403
- 成都众云数字科技有限公司 23384
- 西安交通大学 23343
- 国防科技大学 22431
- DME2011 1385
- 中国社会发展研究院会议中心 17379
- 北京宝利通信息咨询有限公司 22359
- 湖北研学博科文化传播有限公司 7374
- 百奥泰国际会议(大连)有限公司 20386
人工智能研究院朱毅鑫及合作者在复杂人-物交互重建问题的研究方面取得进展
2023/12/05
人-物交互理解[1,2]在计算机视觉与机器人领域有重要的意义,让人工智能算法理解三维空间下复杂的人与物体交互一直是研究者们追求的目标。然而,这一目标的实现还面临诸多挑战。
首先,学术界缺少一个针对全身参与的人与复杂物体交互理解的算法。现有方法大多限制在与刚体的交互[3,4],或仅关注某个特定的身体部位。其次,真实环境下的物体结构复杂,难以用一个单一的模板来描述。近期,学界开始对带自由度的物体[5]进行研究,但仍仅限于一个可动部件,缺少复杂的结构和运动方式。第三,对人与物体之间关系的建模也是现阶段的一大挑战[6]。以人与椅子的交互为例,当身体向后靠时,椅子靠背会产生旋转。类似的这种现象里面包含了复杂的人与物体间三维结构相关性。上述几大挑战并非不可实现,但根本问题均指向了算法先验知识的不足。
近日,北京大学人工智能研究院朱毅鑫助理教授,与北京通用人工智能研究院(通院)黄思远研究员在ICCV 2023会议联合发表以“Full-Body Articulated Human-Object Interaction”为题的论文。该研究的目标是复杂人-物交互理解的问题,文章提出了利用全身交互三维先验进行细粒度人-物体交互理解与重建的算法,并展示了下游视觉相关任务的应用;文章同时提出了基于大量人与带自由度的铰接物体交互片段的交互先验,并提供了精细的三维姿态和结构标注的真实数据。这些真实数据来源于大量的真实交互案例,包含总长为17.3小时的人与复杂物体交互的片段、46位不同的拍摄人员、81把形状结构不同的椅子、沙发和板凳交互物体等,提供了精细的人体和物体的三维形状信息标注。同时附带多视角RGB和深度的拍摄原始数据信息,以及匹配校准后的点云数据。基于CHAIRS数据集,文章还针对人-物交互理解的任务,提出了使用cVAE模型训练的人-物交互先验来指引物体部件重建和姿态优化的过程,实现带自由度关节参数的准确估计和人体-物体联合三维重建。
CHAIRS数据集示例,包含人与带活动关节物体的三维交互捕捉
研究主要解决了从单张图片中重建人-物交互的问题。其中:
人体用SMPL-X参数来表示。如果给定物体模型,用6D位姿表示物体的每个部分,不给定模型的情况下则直接对物体进行三维重建。物体重建模型以图片和估计的人体姿态为输入,提取图片特征以及人体在不同尺度下的体素,将图片特征输入至三维反卷积网络,并将每层的三维特征拼接人体体素信息,最终得到空间中的点被物体占有的概率分布。
人-物交互重建模型架构
细粒度关系的建模对人-物交互的理解有重要价值。本文提出基于cVAE的交互先验模型,从CHAIRS的大量交互数据中学习了在给定人体姿态下的物体三维空间分布。交互先验模型以体素化的人体作为输入,输出周边空间内每个点被占有情况的联合概率分布。这种建模方式可以在已估计出人体姿态的情况下,得出最有可能的物体形状,以此来对物体姿态估计提供必要的指引。
人-物交互先验图示
实验环境设置:所有片段都在一个装有惯性-光学混合动作捕捉系统的区域中采集,所有动作对摄像头完全可见。周边设置了四个面向人物的多视角Kinect Azure DK相机,经过了精确校准和同步,以获取RGB-D信息以及点云。
物体姿态的收集:首先,将物体排列到其初始的姿态,并将混合追踪器附着到其每个可移动部分。在记录交互的过程中,根据追踪器的姿态实时计算每个物体部分的基准6D姿态。最后,将刚性部分拟合到物体的运动结构以获得高质量的物体姿态。
人体姿态和形状的收集:采用SMPL-X表示法来表示人体姿态和形状。参与者在录制过程中穿上带有17个IMU、一双手套和5个安装在头、手和脚上的混合追踪器的动作捕捉套装。交互过程中优化人体模型的形状参数,使得重构的SMPL-X网格与混合追踪器的位置对齐。动作捕捉系统在记录过程中实时产生人体姿态和形状的估计。
动作捕捉设置及实验室配置
为全方位评估研究方法的效果,研究团队使用CHAIRS数据集以及网络中包含人和椅子的图片测试了人-物交互重建。实验结果显示,不论是否给定物体的三维模型,本文提出的方法均能基于单张图片重建出合理的人体和物体的交互姿态。研究填补了三维视觉领域在全身复杂交互方法的空白,为可供性、具身智能等算法的研究与落地奠定了基础。
人-物交互重建结果示例
论文第一作者为北京大学博士生蒋楠、通院刘腾宇研究员,通讯作者为朱毅鑫、黄思远。论文作者还包括清华自动化系本科生曹哲瑄和张至远、通院实习生崔洁茗、通院研究员陈以新和北京大学助理教授王鹤。
参考文献
[1] Zhu Y, Jiang C, Zhao Y, et al. Inferring forces and learning human utilities from videos. In Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[2] Chen Y, Huang S, Yuan T, et al. Holistic++ scene understanding: Single-view 3d holistic scene parsing and human pose estimation with human-object interaction and physical commonsense. In International Conference on Computer Vision (ICCV), 2019.
[3] Taheri O, Ghorbani N, Black M J, et al. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020.
[4] Bhatnagar B L, Xie X, Petrov I A, et al. Behave: Dataset and method for tracking human object interactions. In Conference on Computer Vision and Pattern Recognition (CVPR), 2022.
[5] Fan Z, Taheri O, Tzionas D, et al. ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation. In Conference on Computer Vision and Pattern Recognition (CVPR), 2023.
[6] Zhang J Y, Pepose S, Joo H, et al. Perceiving 3d human-object spatial arrangements from a single image in the wild. In European Conference on Computer Vision (ECCV), 2020.
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学地空学院岳汉、宋晓东团队揭示2023年土耳其大双震的超剪切触发和级联破裂过程
中国科学院长春在血管内导管抗血栓和抗细菌感染涂层研究方面取得进展
北京大学物理学院江颖课题组利用全新扫描探针技术大幅提升固态量子比特的相干性
南京大学医学院附属金陵医院在颅内动脉瘤人工智能影像检测研究方面取得进展
第十一届先进制造技术与材料工程国际学术会议 (AMTME 2024)(2024-05-17)
第五届计算机通信与网络安全国际学术会议 (CCNS 2024)(2024-05-17)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024艺术、文化与社会科学国际学术会议(ICACSS 2024)(2024-5-30)
2024年教育改革、人才培养与多媒体技术国际学术会议(ERTTMT 2024)(2024-6-15)
2024年建模仿真、智能系统与信号处理国际会议(MSISSP2024)(2024-5-27)
2024可持续发展、语言与文学国际学术会议(ICSDLL 2024)(2024-5-26)
2024年第八届视觉,图像与信号处理国际会议(ICVISP 2024)(2024-12-27)
2024年商业,经济贸易与管理科学国际会议(ICCETMS 2024)(2024-6-25)
第六届物联网、自动化与人工智能国际学术会议(IoTAAI 2024)(2024-7-26)
2024年第六届机械工程和车辆工程国际会议 (MEVE 2024)(2024-9-20)
2024年植物病虫害与生物防治国际学术会议(PDPBC 2024)(2024-6-25)
2024年第二届管理学、教育发展与研究国际会议(ICMEDR2024)(2024-6-26)