- 营养学的课题有哪些方向呢? 47
- 在电子书出书过程中,字数要求是否 51
- 发表论文如何预防上当被骗? 75
- 为什么调剂系统进不去了 60
- 关于工程技术方向论文题目借鉴及期 54
- 做副主编要注意问题有哪些? 47
- 清华大学环境学院王春艳团队在微观 52
- 《International J 32
- 论文查重英文怎么算出来的 32
- 国内学术会议策划的4个步骤 70
- 郭保生教授、蒋青教授团队与石云教 62
- 出版书前需要准备的主要文件和材料 61
- 清华大学航天航空学院在定制细微尺 44
- 《中国循证心血管医学杂志》的主题 35
- SCI参考文献格式要求的重要方面 51
- 西安石油大学 20396
- 北京乾圆国学文化研究院 7389
- 浙江省书法家协会 20408
- 第十六届中国微米纳米技术学会学术 17403
- 天津大学 17402
- 长安大学数字油田研究所 23372
- 中科博爱(北京)心理医学研究院 22389
- MJHVJ 23358
- cmo 20370
- GRES 23381
- The Right Spin P 20412
- Northeastern Uni 17396
- BIMTDoctor 17368
- 安农大生科院 23390
- 同济大学地下建筑与工程系 22408
- 赛维太阳能厂 17396
- 安徽理工大学能源与安全学院 17429
- HKSME 22351
- 云南大学滇池学院 17409
- 北京恒基雅泰咨询服务中心 22400
北京大学人工智能研究院朱毅鑫及合作者在复杂人-物交互重建问题的研究方面取得进展
2024/03/27
人-物交互理解[1,2]在计算机视觉与机器人领域有重要的意义,让人工智能算法理解三维空间下复杂的人与物体交互一直是研究者们追求的目标。然而,这一目标的实现还面临诸多挑战。
首先,学术界缺少一个针对全身参与的人与复杂物体交互理解的算法。现有方法大多限制在与刚体的交互[3,4],或仅关注某个特定的身体部位。其次,真实环境下的物体结构复杂,难以用一个单一的模板来描述。近期,学界开始对带自由度的物体[5]进行研究,但仍仅限于一个可动部件,缺少复杂的结构和运动方式。第三,对人与物体之间关系的建模也是现阶段的一大挑战[6]。以人与椅子的交互为例,当身体向后靠时,椅子靠背会产生旋转。类似的这种现象里面包含了复杂的人与物体间三维结构相关性。上述几大挑战并非不可实现,但根本问题均指向了算法先验知识的不足。
近日,北京大学人工智能研究院朱毅鑫助理教授,与北京通用人工智能研究院(通院)黄思远研究员在ICCV 2023会议联合发表以“Full-Body Articulated Human-Object Interaction”为题的论文。该研究的目标是复杂人-物交互理解的问题,文章提出了利用全身交互三维先验进行细粒度人-物体交互理解与重建的算法,并展示了下游视觉相关任务的应用;文章同时提出了基于大量人与带自由度的铰接物体交互片段的交互先验,并提供了精细的三维姿态和结构标注的真实数据。这些真实数据来源于大量的真实交互案例,包含总长为17.3小时的人与复杂物体交互的片段、46位不同的拍摄人员、81把形状结构不同的椅子、沙发和板凳交互物体等,提供了精细的人体和物体的三维形状信息标注。同时附带多视角RGB和深度的拍摄原始数据信息,以及匹配校准后的点云数据。基于CHAIRS数据集,文章还针对人-物交互理解的任务,提出了使用cVAE模型训练的人-物交互先验来指引物体部件重建和姿态优化的过程,实现带自由度关节参数的准确估计和人体-物体联合三维重建。
CHAIRS数据集示例,包含人与带活动关节物体的三维交互捕捉
研究主要解决了从单张图片中重建人-物交互的问题。其中:
人体用SMPL-X参数来表示。如果给定物体模型,用6D位姿表示物体的每个部分,不给定模型的情况下则直接对物体进行三维重建。物体重建模型以图片和估计的人体姿态为输入,提取图片特征以及人体在不同尺度下的体素,将图片特征输入至三维反卷积网络,并将每层的三维特征拼接人体体素信息,最终得到空间中的点被物体占有的概率分布。
人-物交互重建模型架构
细粒度关系的建模对人-物交互的理解有重要价值。本文提出基于cVAE的交互先验模型,从CHAIRS的大量交互数据中学习了在给定人体姿态下的物体三维空间分布。交互先验模型以体素化的人体作为输入,输出周边空间内每个点被占有情况的联合概率分布。这种建模方式可以在已估计出人体姿态的情况下,得出最有可能的物体形状,以此来对物体姿态估计提供必要的指引。
人-物交互先验图示
实验环境设置:所有片段都在一个装有惯性-光学混合动作捕捉系统的区域中采集,所有动作对摄像头完全可见。周边设置了四个面向人物的多视角Kinect Azure DK相机,经过了精确校准和同步,以获取RGB-D信息以及点云。
物体姿态的收集:首先,将物体排列到其初始的姿态,并将混合追踪器附着到其每个可移动部分。在记录交互的过程中,根据追踪器的姿态实时计算每个物体部分的基准6D姿态。最后,将刚性部分拟合到物体的运动结构以获得高质量的物体姿态。
人体姿态和形状的收集:采用SMPL-X表示法来表示人体姿态和形状。参与者在录制过程中穿上带有17个IMU、一双手套和5个安装在头、手和脚上的混合追踪器的动作捕捉套装。交互过程中优化人体模型的形状参数,使得重构的SMPL-X网格与混合追踪器的位置对齐。动作捕捉系统在记录过程中实时产生人体姿态和形状的估计。
动作捕捉设置及实验室配置
为全方位评估研究方法的效果,研究团队使用CHAIRS数据集以及网络中包含人和椅子的图片测试了人-物交互重建。实验结果显示,不论是否给定物体的三维模型,本文提出的方法均能基于单张图片重建出合理的人体和物体的交互姿态。研究填补了三维视觉领域在全身复杂交互方法的空白,为可供性、具身智能等算法的研究与落地奠定了基础。
人-物交互重建结果示例
论文第一作者为北京大学博士生蒋楠、通院刘腾宇研究员,通讯作者为朱毅鑫、黄思远。论文作者还包括清华自动化系本科生曹哲瑄和张至远、通院实习生崔洁茗、通院研究员陈以新和北京大学助理教授王鹤。
参考文献
[1] Zhu Y, Jiang C, Zhao Y, et al. Inferring forces and learning human utilities from videos. In Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[2] Chen Y, Huang S, Yuan T, et al. Holistic++ scene understanding: Single-view 3d holistic scene parsing and human pose estimation with human-object interaction and physical commonsense. In International Conference on Computer Vision (ICCV), 2019.
[3] Taheri O, Ghorbani N, Black M J, et al. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020.
[4] Bhatnagar B L, Xie X, Petrov I A, et al. Behave: Dataset and method for tracking human object interactions. In Conference on Computer Vision and Pattern Recognition (CVPR), 2022.
[5] Fan Z, Taheri O, Tzionas D, et al. ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation. In Conference on Computer Vision and Pattern Recognition (CVPR), 2023.
[6] Zhang J Y, Pepose S, Joo H, et al. Perceiving 3d human-object spatial arrangements from a single image in the wild. In European Conference on Computer Vision (ECCV), 2020.
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
材料科学与工程学院于海峰课题组在液晶嵌段共聚物方面取得进展 实现了聚合物的光控机械性能互变与光热燃料电池存储
中国科学院物理研究所与国外合作者在过渡金属硫属化合物中实现应力对拓扑表面态及其朗道量子化的调控
北京大学生命科学学院李湘盈课题组解析红细胞发育各阶段的多维度染色质动态
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
第二届人文,社会与管理科学国际会议(HSMS 2024)(2024-7-18)
2024年历史文化与艺术设计国际学术会议(ICHCAD 2024)(2024-6-20)
2024年数理基础科学、数据计算与应用国际学术会议(IACMBSDCA 2024)(2024-5-23)
2024年地球生态学与绿色发展国际会议 (EEGD 2024)(2024-6-25)
2024年人工智能和机械技术应用国际学术会议(AIMTA 2024)(2024-6-19)
2024年物理化学与工程技术发展国际会议(ICPCETD 2024)(2024-6-30)
2024智慧交通与计算机科学工程国际会议(STCSE 2024)(2024-7-31)
2024年激光、电子与光子学国际会议(ICLPEP 2024)(2024-5-18)
第七届人工智能与机器人国际学术会议 (AIR 2024)(2024-7-19)
2024年数字媒体、新闻与管理国际会议(DMJM 2024)(2024-6-26)