透明物体由于其美观、简约等特点而在生活中广泛应用，厨房、商店、工厂都能见到他们的身影。透明物体虽然很常见，但对于机器人而言，复杂环境下的透明物体的感知和抓取却是一个非常困难的问题，这与其自身的属性有直接给关系。首先透明物体存在较少的纹理信息，所产生的纹理大都是由于光线折射、反射造成的，这就给透明物体的检测带来了很大的困难。其次透明物体表面光滑，即使抓取位置存在较小偏差，也可能导致抓取任务的失败。因此，如何解决复杂场景下的透明物体抓取问题已经成为了机器人领域公认的非常重要且具有挑战的课题。

近日，深圳国际研究生院丁文伯副教授的智能感知与机器人（Smart Sensing and Robotics, SSR）课题组与合作者提出了一个基于视触融合的透明物体抓取框架，该框架模仿了人在低可见度情况下抓取物体的动作，并利用视触融合来实现透明物体的检测和抓取。该方法不仅具有极高的抓取成功率，还可以实现玻璃碎片、堆积、重叠、起伏、沙子和水下场景下的物体抓取。

该成果以“利用视触融合解决复杂背景下的透明物体抓取问题”（Visual-Tactile Fusion for Transparent Object Grasping in Complex Backgrounds）为题，在《IEEE机器人汇刊》（IEEE Transactions on Robotics，TRO）上发表。

图1 视触融合抓取示意图

图2 视触融合抓取算法示意图

图3 视触融合抓取算法应用场景

清华大学深圳国际研究生院数据与信息研究院丁文伯副教授为论文的通讯作者，刘厚德研究员为共同通讯作者，清华大学深圳国际研究生院2023级博士研究生李寿杰、2021级硕士研究生于海鑫为论文的共同第一作者。论文作者还包括上海大学人工智能研究院副研究员叶林奇，清华大学博士后夏崇坤，清华大学深圳国际研究生院王学谦教授、张晓平教授。该项目得到了国家自然科学基金、清华大学深圳国际研究生院鹏瑞青年教师启航计划、清华大学深圳国际研究生院交叉科研创新基金、广东省基础与应用基础研究基金、清华大学国强研究院等项目的资助。