当前位置:首页 >> 学术资讯 >> 科研信息

清华大学机械系智能制造与精密加工研究室在基于惯性传感器的人体运动重建上取得新进展

2024/03/27

 动作捕捉技术广泛应用于虚拟现实、人体工程学、医疗康复、影视制作等领域。基于惯性传感器的方法由于对环境要求低、无遮挡问题,在捕捉大规模、复杂多人环境中的人体运动方面具有明显优势,尤其是基于少量惯性测量单元的方法由于其简单性和灵活性而具有更大的研究价值。但是,这类方法往往使用的是深度神经网络,会给设备带来较大的计算负担,提高此类方法的计算效率、减少延迟,并在便携式终端上进行算法部署具有极大挑战性。

针对以上问题,清华大学机械系智能制造与精密加工研究室研究人员提出了一种基于六个惯性传感器的新算法结构FIP(Fast Inertial Poser),为便携式终端的部署带来了一种新的思路。该方法分为两个阶段,关节位置估计和运动学逆解。与之前的方法相比,该方法效率提升的主要原因为:第一,消除了额外的优化设计;第二,基于“最小测量原则”,通过考虑人体形状参数(身高、腿长、单臂长)和性别,使用运动学逆求解器和不同传感器的共享模型来增强神经网络结构的表达能力;第三,去除RNN的双向传播机制。在位置估计阶段,FIP使用三个独立的循环神经网络(RNN)来估计叶节点和其余节点的位置。为了使模型推理过程更接近真实的物理过程,FIP使用传感器共享积分RNN来估计叶节点的位置。此外,对于每个RNN,人体参数信息通过嵌入式编码的方式输入到算法网络中。

图1.FIP算法示意图

网络具体设计如图2所示,主要使用的子模块为单向循环网络RNN和多层感知机MLP,通过将人体骨架信息输入到不同的模块形成人体形状相关的约束,设计了一种基于人体运动树的特殊逆运动学求解器,帮助模型求解当前帧中关节的旋转。

在基于开源数据集的实验中显示,FIP在保证重建精度的同时降低了动作重建的延迟和解算时间,在PC上的计算时间仅需要2.7毫秒/帧,在Nvidia NX2TX嵌入式开发板上能够以15毫秒延迟和65FPS的帧率稳定运行,为在移动终端的实时人体运动重建提供了一种全新的思路。

图2. FIP算法Pipeline

相关研究成果以“基于稀疏传感器考虑人体形状快速重建人体运动”(Fast Human Motion reconstruction from sparse inertial measurement units considering the human shape)为题,于3月18日发表于《自然·通讯》(Nature Communications)杂志。

清华大学机械系2023级硕士生肖轩为论文第一作者,机械系教授张建富为论文通讯作者,机械系2023级本科生宫傲,机械系教授冯平法、副教授王健健、助理研究员张翔宇共同参与了研究工作。研究得到清华大学国强研究院项目的支持。


版权声明:
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

第二届无人系统与自动化控制国际学术会议(ICUSAC 2025)(2025-12-26)

2025年IEEE第八届算法,计算与人工智能国际会议 (ACAI 2025)(2025-12-26)

第二届遥感技术与图像处理国际学术会议(RSTIP 2025)(2025-12-26)

第二届模式识别与图像分析国际学术会议(PRIA 2025)(2025-12-26)

2025年创新设计与数字化转型国际会议(2025-12-26)

第五届通信技术与信息科技国际学术会议(ICCTIT 2025)(2025-12-26)

第五届人工智能与大数据国际学术研讨会 (AIBDF 2025)(2025-12-26)

2025物理学、量子计算与光学国际会议(ICPQCO 2025)(2025-12-27)

2026年数学、人工智能与金融学国际会议(ICMAIF 2026(2026-01-06)

2026智能电网信息工程、电缆工程与电气国际会议(CEEE 2026)(2026-01-06)

2025年企业管理与产业发展国际会议(ICEMID 2025)(2025-12-28)

2025环境、生物多样性与水资源国际会议(ICEBWR 2025)(2025-12-30)

2025年物联网、程序分析与网络工程国际学术会议(IoTPANE 2025)(2025-12-22)

2025年工业电子、轨道交通与电机控制国际会议(IERTM 2025)(2025-12-30)

2025年语言艺术、文化传播与新媒体发展国际会议(LACCDNM 2025)(2025-12-29)

2025年旅游管理与媒体传播国际会议(ICTMMC 2025)(2025-12-27)

2025年文化产业、公共管理与经济发展国际会议(ICCIPMED 2025)(2025-12-30)

2025年能源科学与水动力学国际会议(ICESH 2025)(2025-12-22)

2025声学、动力学与流体力学国际学术会议(ADFM 2025)(2025-12-23)

第二届图像处理、多媒体技术与机器学习国际学术会议(IPMML 2025)(2025-12-26)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。