- 哪些措施可以减少英语论文的相似度 72
- 如何克服Scopus数据库的局限 17
- 清华大学材料学院李敬锋、朱静课题 99
- 期刊编辑常见的挑战有哪些 13
- 关于会计制度方向论文题目借鉴及期 87
- 西北大学舒德干院士团队在脊椎动物 72
- 国际会议论文查重的步骤 75
- 专著是否存在重复率的限制 62
- 详细介绍环境保护与循环经济论文摘 26
- 关于英文期刊编辑decision 106
- 读博需要具备哪些条件 95
- 查重字符数怎么算出来的 63
- 什么是科技成果? 69
- 什么是AAAS期刊? 30
- 中国地质科学院地质所在青藏高原隆 68
- 淄博友好美容整形医院 17416
- 中华中医药行业科技交流中心 1457
- 中国疾病预防控制中心性病控制中心 20410
- 科技与企业杂志社 23505
- 大连交通大学 20426
- 香港国际学术研究协会 23429
- 上海鸿与智工业媒体 20417
- 四川盛大会展 1408
- 同济大学 20432
- GSRA学术会议 23442
- 大连东方瑞迪文化传媒有限公司 20453
- 北京河之声速记服务中心 17411
- 湖北学而升文化传播有限公司 7432
- 国际工学技术出版协会 22427
- 上海慧晨生物医学科技有限公司 1415
- 恒信通讯公司 20400
- 中关村精准医学基金会 7445
- 华大基因研究院 17444
- 清华大学研究院 17417
- 第二届新型材料与化学工业国际学术 23392
北京大学人工智能研究院朱毅鑫及合作者在复杂人-物交互重建问题的研究方面取得进展
2024/03/27
人-物交互理解[1,2]在计算机视觉与机器人领域有重要的意义,让人工智能算法理解三维空间下复杂的人与物体交互一直是研究者们追求的目标。然而,这一目标的实现还面临诸多挑战。
首先,学术界缺少一个针对全身参与的人与复杂物体交互理解的算法。现有方法大多限制在与刚体的交互[3,4],或仅关注某个特定的身体部位。其次,真实环境下的物体结构复杂,难以用一个单一的模板来描述。近期,学界开始对带自由度的物体[5]进行研究,但仍仅限于一个可动部件,缺少复杂的结构和运动方式。第三,对人与物体之间关系的建模也是现阶段的一大挑战[6]。以人与椅子的交互为例,当身体向后靠时,椅子靠背会产生旋转。类似的这种现象里面包含了复杂的人与物体间三维结构相关性。上述几大挑战并非不可实现,但根本问题均指向了算法先验知识的不足。
近日,北京大学人工智能研究院朱毅鑫助理教授,与北京通用人工智能研究院(通院)黄思远研究员在ICCV 2023会议联合发表以“Full-Body Articulated Human-Object Interaction”为题的论文。该研究的目标是复杂人-物交互理解的问题,文章提出了利用全身交互三维先验进行细粒度人-物体交互理解与重建的算法,并展示了下游视觉相关任务的应用;文章同时提出了基于大量人与带自由度的铰接物体交互片段的交互先验,并提供了精细的三维姿态和结构标注的真实数据。这些真实数据来源于大量的真实交互案例,包含总长为17.3小时的人与复杂物体交互的片段、46位不同的拍摄人员、81把形状结构不同的椅子、沙发和板凳交互物体等,提供了精细的人体和物体的三维形状信息标注。同时附带多视角RGB和深度的拍摄原始数据信息,以及匹配校准后的点云数据。基于CHAIRS数据集,文章还针对人-物交互理解的任务,提出了使用cVAE模型训练的人-物交互先验来指引物体部件重建和姿态优化的过程,实现带自由度关节参数的准确估计和人体-物体联合三维重建。
CHAIRS数据集示例,包含人与带活动关节物体的三维交互捕捉
研究主要解决了从单张图片中重建人-物交互的问题。其中:
人体用SMPL-X参数来表示。如果给定物体模型,用6D位姿表示物体的每个部分,不给定模型的情况下则直接对物体进行三维重建。物体重建模型以图片和估计的人体姿态为输入,提取图片特征以及人体在不同尺度下的体素,将图片特征输入至三维反卷积网络,并将每层的三维特征拼接人体体素信息,最终得到空间中的点被物体占有的概率分布。
人-物交互重建模型架构
细粒度关系的建模对人-物交互的理解有重要价值。本文提出基于cVAE的交互先验模型,从CHAIRS的大量交互数据中学习了在给定人体姿态下的物体三维空间分布。交互先验模型以体素化的人体作为输入,输出周边空间内每个点被占有情况的联合概率分布。这种建模方式可以在已估计出人体姿态的情况下,得出最有可能的物体形状,以此来对物体姿态估计提供必要的指引。
人-物交互先验图示
实验环境设置:所有片段都在一个装有惯性-光学混合动作捕捉系统的区域中采集,所有动作对摄像头完全可见。周边设置了四个面向人物的多视角Kinect Azure DK相机,经过了精确校准和同步,以获取RGB-D信息以及点云。
物体姿态的收集:首先,将物体排列到其初始的姿态,并将混合追踪器附着到其每个可移动部分。在记录交互的过程中,根据追踪器的姿态实时计算每个物体部分的基准6D姿态。最后,将刚性部分拟合到物体的运动结构以获得高质量的物体姿态。
人体姿态和形状的收集:采用SMPL-X表示法来表示人体姿态和形状。参与者在录制过程中穿上带有17个IMU、一双手套和5个安装在头、手和脚上的混合追踪器的动作捕捉套装。交互过程中优化人体模型的形状参数,使得重构的SMPL-X网格与混合追踪器的位置对齐。动作捕捉系统在记录过程中实时产生人体姿态和形状的估计。
动作捕捉设置及实验室配置
为全方位评估研究方法的效果,研究团队使用CHAIRS数据集以及网络中包含人和椅子的图片测试了人-物交互重建。实验结果显示,不论是否给定物体的三维模型,本文提出的方法均能基于单张图片重建出合理的人体和物体的交互姿态。研究填补了三维视觉领域在全身复杂交互方法的空白,为可供性、具身智能等算法的研究与落地奠定了基础。
人-物交互重建结果示例
论文第一作者为北京大学博士生蒋楠、通院刘腾宇研究员,通讯作者为朱毅鑫、黄思远。论文作者还包括清华自动化系本科生曹哲瑄和张至远、通院实习生崔洁茗、通院研究员陈以新和北京大学助理教授王鹤。
参考文献
[1] Zhu Y, Jiang C, Zhao Y, et al. Inferring forces and learning human utilities from videos. In Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[2] Chen Y, Huang S, Yuan T, et al. Holistic++ scene understanding: Single-view 3d holistic scene parsing and human pose estimation with human-object interaction and physical commonsense. In International Conference on Computer Vision (ICCV), 2019.
[3] Taheri O, Ghorbani N, Black M J, et al. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020.
[4] Bhatnagar B L, Xie X, Petrov I A, et al. Behave: Dataset and method for tracking human object interactions. In Conference on Computer Vision and Pattern Recognition (CVPR), 2022.
[5] Fan Z, Taheri O, Tzionas D, et al. ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation. In Conference on Computer Vision and Pattern Recognition (CVPR), 2023.
[6] Zhang J Y, Pepose S, Joo H, et al. Perceiving 3d human-object spatial arrangements from a single image in the wild. In European Conference on Computer Vision (ECCV), 2020.
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
中国科学院南京地质古生物研究所与海外合作者发现三亿年前的巨量碳排放导致全球变暖与海洋缺氧
清华大学深圳国际研究生院弥胜利团队构建可重编程磁控柔性驱动器
清华大学 化学系王定胜、李亚栋合作实现有机小分子催化并实现高效氯碱反应
中国科学院物理研究所与国外合作者在过渡金属硫属化合物中实现应力对拓扑表面态及其朗道量子化的调控
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年第二届管理创新与经济发展国际学术会议(MIED 2024)(2024-06-28)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
第六届电子工程与信息学国际学术会议(EEI 2024)(2024-06-28)
第五届机械工程、智能制造与机电一体化学术会议暨 2024年汽车新材料新工艺技术论坛(MEIMM2024)(2024-07-05)
2024土木工程、城市规划与交通运输国际会议(ICCEUPT2024)(2024-07-08)
2024年城市建设、智慧交通与通信网络国际会议(UCSTCN 2024)(2024-07-15)
第十届催化国际研讨会 (ICC 2024)(2024-07-19)
2024年亚太计算技术、通信与网络国际会议(CTCNet 2024)(2024-07-26)
2024年新能源、储能与电力电气工程国际会议(NEESPEE 2024)(2024-07-27)
2024年互联网技术与教育信息化国际会议(ITIE 2024)(2024-6-23)
2024年社会科学和科学管理国际会议(ICSSSM 2024)(2024-6-30)
2024半导体、物理与电子技术国际学术会议(ICSPET 2024)(2024-6-28)
2024年第二届人工智能与电力工程国际会议(AIPE 2024)(2024-10-25)
2024年第五届亚洲计算机与通信会议 (ACCC 2024)(2024-12-20)
2024年IEEE第十二届信息与通信网络国际会议(ICICN 2024)(2024-8-21)
2024年金融创新与商业管理国际会议(ICFIBM 2024)(2024-6-16)
2024年能源科学工程与安全科学技术国际学术会议(ESESST 2024)(2024-6-21)
2024年创新设计与公共艺术国际会议(ICIDPA 2024)(2024-7-28)
2024年应用经济学与财务管理国际学术会议(ICAEFM 2024)(2024-6-17)