- 关于学术研讨会论文的步骤和建议 66
- 医学论文发英文期刊更容易的几个做 69
- 清华大学车辆学院研究团队提出智能 45
- 介绍科学论文的正确写作顺序 54
- 国防经济相关论文的中文学术期刊是 52
- 探讨《钱学森研究(集刊)》的价值 45
- 武汉大学袁志刚教授团队与海外合作 49
- 如何进行分类和观察学术会议的类型 77
- 探讨药理学的主要研究方向 40
- 社会网络,人际影响和大脑:心理与 41
- 《陕西中医药大学学报》的目标读者 38
- SCI文章编辑通常包括哪些? 62
- 论文清样是指的什么? 56
- 在大型学术会议如何进行提问 68
- 在学术会议上礼貌提问的方式 54
- 武汉理工大学 23411
- 中国能源学会 1379
- 北京中国人民大学商学院 20467
- 北京轩银瑞华文化传播有限公司 20387
- 上海新华投资发展有限公司 17387
- 中国中医古籍挖掘整理委员会 22381
- 东部战区总院 1367
- ABS2016组委会 1364
- 中山大学政治与公共事务管理学院 20399
- 服务科学、管理与工程购机会务组 22420
- 中国北京市朝阳区 17405
- 工业和信息化部工业文化发展中心 7411
- 中国医药教育协会 20368
- 百奥泰国际会议(大连)有限公司 23393
- 武汉科技大学 22375
- 科学和工程研究中心 1364
- 巴塞尔公约亚太地区协调中心 23390
- 北京恒星瑞祥商贸有限公司 17370
- 中国兵工学会测试技术专业委员会 22389
- 武汉高流明投影机租赁公司 1389
北京大学杨耀东课题组在基于认知推理的具身智能可泛化灵巧操作技术研究上取得进展
2024/03/20
近日,由北京大学杨耀东课题组牵头,朱毅鑫课题组、董豪课题组及王鹤课题组作为核心骨干参与的“基于认知推理的具身智能可泛化灵巧操作技术研究”课题在北京市科委、中关村管委会进行验收工作,并通过项目综合绩效考核。
图1.多样化的灵巧手操作方式和被操作物体
在当前全球化的大背景下,机器人技术已经逐渐成为自动化工业制造、医疗手术和家居服务等多个领域的核心技术之一,特别是在灵巧操纵方面。灵巧操纵的本质是为机器人赋予灵活处理各种物体的决策能力,提升机器人在复杂场景下的可泛化自主决策能力和自适应性,使其能够像人类双手一样应对不同的环境和任务。然而,实现机器人的灵巧操纵仍面临多重技术挑战,例如,如何处理各种不同形状的甚至没见过的物体,并在精准感知环境的基础上实现高效的运动规划,以适应多变的场景。
图2.双灵巧手仿真平台Bi-DexHands的整体框架及所包含的丰富任务类型
自2022年项目成立以来,课题组基于认知推理、强化学习和计算机视觉技术,专注于解决现有机械手抓握策略仅能处理单一类型抓取物、缺乏泛化性、安全性以及缺乏相应高度仿真平台和数据集等核心问题。
具体而言,课题组从系统构建、数据采集、面向特定任务的抓取算法以及通用可泛化的抓取操作等方面展开研究,成功开发了适用于单/多智能体学习算法研究的高效灵巧机械手仿真系统并成为灵巧操作领域的重要基准环境之一;构建了高质量、多样化的大规模灵巧机械手抓取数据集;基于认知推理技术,大幅度提升了机械手在多类型目标物、复杂手型、多样抓握姿势和抓取任务上的泛化能力;获得了通用的灵巧机械手抓取策略,最终圆满完成所有考核指标,在基于视觉的真实世界复杂机械手抓取任务中部署了所提出的解决方案并取得了突出的效果。
图3.课题组提出的可供性学习方式能够帮助机器人在真实世界中完成多样的操作任务
基于本项目所使用的技术,杨耀东课题组获得了NeurIPS 2022灵巧操作挑战赛冠军,在340个队伍中位列第1。相关研究在计算机和机器人顶级会议和期刊上发表了11篇学术论文。其中,课题组所开发的双灵巧手仿真平台Bi-DexHands能够同时并行数千个环境,在 GPU(NVIDIA RTX 3090)单卡环境下,每秒仿真帧数速率达到 65,000帧/秒以上,为双灵巧手学习提供了高效的训练系统。灵巧操作任务设计遵循精细运动测试(FMS)的原则,建立了婴儿年龄和操作任务之间的映射,为观察和评估机械手在不同成长阶段操纵物体和使用工具的能力提供了高度类人的强大基准,同时面向这些任务提供了全面的单智能体/多智能体/离线/多任务/元强化学习算法基准,相关论文“Bi-DexHands: Towards Human-Level Bimanual Dexterous Manipulation”于2023年11月被人工智能领域顶级国际期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)接收,影响因子为24.314。课题组进一步针对异构灵巧手合作困难的问题,设计了适用于异构多智能体系统的强化学习算法,且提供了策略单调递增和收敛性的理论保证,相关论文“Heterogeneous-Agent Reinforcement Learning”于2023年12月被机器学习领域顶级国际期刊Journal of Machine Learning Research(JMLR)接收。课题组在国际顶级学术会议中也同样取得优异成绩,其中一项研究工作“UniDexGrasp++: Improving Dexterous Grasping Policy Learning via Geometry-aware Curriculum and Iterative Generalist-Specialist Learning”在ICCV 2023中获得满分评审,并被ICCV 2023提名最佳论文入围奖,另一项研究工作“GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts”在CVPR 2023中获得全满分的评审成绩并被评为Highlight,位列投稿论文前2.5%。课题相关的开源代码库也已获星累计1000+。在此研究基础上,本课题组申请了2项发明专利,力求将所开发的平台和算法应用于智能假肢系统,为残疾人的安全灵巧操作提供技术保障。这些研究成果大幅度提升了我国在灵巧操作领域的学术地位和工业水平,拓展了智能机器人的实际应用范围。
图4.课题组获得NeurIPS 2022灵巧操作挑战赛冠军以及ICCV 2023最佳论文入围提名
图5.课题组开发的双灵巧手操作仿真平台和全面的多智能体强化学习算法基准库
2023年,具身智能机器人领域经历了快速的发展。与此同时,相关国家政策的逐步完善和北京市科技委等科技部门的大力支持也进一步促进了具身智能机器人的技术创新和商业应用的实现。其中,灵巧操作模块作为具身智能体的核心组件,是推动机器人技术应用于真实场景的关键之一。在这样的背景下,“基于认知推理的具身智能可泛化灵巧操作技术研究”项目的成功研发和应用验证显得尤为重要和及时,再次展现了我国在技术创新和发展方面的前瞻性和决策力。
该研究工作得到北京市科委北京市科技计划“2022年中央引导地方科技发展专项”提供的支持。
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
环境学院覃栎课题组揭示全球灌溉农业融雪依赖度及气候风险的远程耦合机制
北京大学化学学院宛新华/张洁课题组阐释两亲性螺旋聚苯乙炔均聚物的二维组装
北京大学王健课题组与合作者在无限层镍氧化物超导薄膜中发现旋转对称性破缺的非常规超导态
生命学院郗乔然课题组揭示lncRNA-Smad7通过介导TGF-β与BMP信号通路调控小鼠胚胎干细胞早期命运决定新机制
北京大学工学院黄建永课题组在空间几何约束诱导细菌与宿主细胞粘附的力学生物学机制研究方面取得新进展
清华大学 深圳国际研究生院吴志勇团队关于篇章语音合成领域的论文入选ICASSP 2023 Top 3%论文
清华大学牵头的底夸克(LHCb)实验团队精确测量质子-铅核对撞中粲介子的核修正因子
第十一届先进制造技术与材料工程国际学术会议 (AMTME 2024)(2024-05-17)
第五届计算机通信与网络安全国际学术会议 (CCNS 2024)(2024-05-17)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年商业,经济贸易与管理科学国际会议(ICCETMS 2024)(2024-6-25)
2024年遥感、测绘与应用国际会议 (ICRSSA 2024)(2024-6-20)
2024语言、教育与社会发展国际学术会议(ICLESD 2024)(2024-6-15)
2024年第八届传感器,材料与制造国际会议 (ICSMM 2024)(2024-11-20)
第四届信息安全与网络安全国际研讨会 (ISNS 2024)(2024-7-19)
2024年环境工程与生物技术国际会议(CoEEB 2024)(2024-5-22)
2024生物信息与食品安全国际学术会议(IACBFS 2024)(2024-5-25)
2024水利、土木工程与交通运输国际会议(WRCET 2024)(2024-6-15)
第五届生物信息与智能计算国际研讨会(BIC 2024)(2024-5-28)
2024信息技术与大数据经济、数字化管理国际学术会议(ITBDEDM 2024)(2024-5-30)