研究分享 | 基于视觉遥操作的多指机械手灵巧操作

1. 视觉信息处理模块

该模块基于一个直接从人类手指深度图获取机器人关节角度的深度学习网络TeachNet。这种方法只需使用一个深度相机，并实现端到端地控制机器人，是非常直观和用户友好的遥操作方法。TeachNet结合了一个一致性损失函数consistency loss，可以处理人手与机器手的外观和内在结构差异。这个网络的训练依赖于一个合成的400K人手-机器手数据集，其中人手数据来自于人手位姿深度图像数据集BigHand2.0，然后在Gazebo中采集对应每个人手的机器手深度图像。但是从TeachNet直接输出的关节角没有考虑机械手与环境的交互，不适用于需要柔顺抓取和复杂技能的复杂任务，如拧瓶盖。

2. 力控模块

该研究所提出的力控策略中力/力矩控制输入由阻抗力与前馈力共同构成。根据期望位置与当前位置误差可在线更新阻抗与前馈力，保证机器人与坏境柔顺交互。进一步受示教学习中轨迹编码方法的启发，复杂的运动轨迹可有一组简单的基元叠加表示，将阻抗与前馈力分别表示成参数与高斯基向量的内积形式，从而可以通过调节参数而间接地调节阻抗与前馈力。即在参数空间完成阻抗与前馈力的在线学习，避免了对其直接调节，可以提高对噪声的抗干扰能力，为在多自由度机器人系统（如Shadow Motor Hand, 17个自由度）中应用提供了可能。

3. 实验验证

首先，在仿真环境中对所提出的方法进行了验证。基于Gazebo和ROS搭建了仿真平台，在拧瓶盖、开门等多个场景中开展了实验（示例见下图），并与现有常用的基于位置模式机械手控制方式进行了对比，实验表明所提出的方法能够有效提高交互的柔顺性。  

然后，在Shadow机械手上开展了真机实验，在灵巧抓取与拧瓶盖等多个任务上进行了验证。同样地，对比实验表明所提出的方法能极大提高提升机械手与环境的交互柔性，在物理交互（Physical interaction）场景中具有优越性。

扫码加入我们

个人会员：1000元/届（5年）

学生会员：50元/届（5年）

终身会员：2000元