Object Manipulation with an Anthropomorphic Robotic Hand via Deep Reinforcement Learning with a Synergy Space of Natural Hand Poses

Abstract

Anthropomorphic robotic hands are designed to attain dexterous movements and flexibility much like human hands. Achieving human-like object manipulation remains a challenge especially due to the control complexity of the anthropomorphic robotic hand with a high degree of freedom. In this work, we propose a deep reinforcement learning (DRL) to train a policy using a synergy space for generating natural grasping and relocation of variously shaped objects using an anthropomorphic robotic hand. A synergy space is created using a continuous normalizing flow network with point clouds of haptic areas, representing natural hand poses obtained from human grasping demonstrations. The DRL policy accesses the synergistic representation and derives natural hand poses through a deep regressor for object grasping and relocation tasks. Our proposed synergy-based DRL achieves an average success rate of 88.38% for the object manipulation tasks, while the standard DRL without synergy space only achieves 50.66%. Qualitative results show the proposed synergy-based DRL policy produces human-like finger placements over the surface of each object including apple, banana, flashlight, camera, lightbulb, and hammer.

Anthropomorphic Grasping With Neural Object Shape Completion

“…In an attempt to do so, the authors of [30] captured a data set of human-handobject contacts and developed an anthropomorphic grasping predictor on novel objects, similarly to [31]. The authors of [26], [27] exploited such concepts of human grasping contacts to develop deep learning approaches capable of generating grasps in simulation in a human-like manner using an anthropomorphic robot hand. The authors of [28] followed a similar contact-inspired methodology using a real-world robot-armhand system.…”

Aplicações de Aprendizado por Reforço em Manipuladores Robóticos: Uma Revisão Sistemática

“…A partir dos dados exibidos na Tabela 1, conclui-se que 28,95% dos trabalhos estudados não utilizam manipuladores reais, mas simuladores para validar os experimentos e suas respectivas abordagens propostas. Estas abordagens foram: aprendizado de movimentos ponto a ponto [3], aprendizado com feedback interativo [27], algoritmos de interac ¸ão contínua [24], manipulac ¸ão de objetos [35], tarefa de abertura de porta [45], manipulac ¸ão coordenada de multi-robôs [20], controle neural adaptativo [42], controle de manipuladores [18], planejamento de trajetória [47], inspec ¸ão robótica [14] e controle de posic ¸ão [49]. [48,17,19,38] Não utilizou [3,27,24,35,45,20,42,18,47,14,49] Verifica-se também que a variedade de manipuladores robóticos utilizados é ampla, sendo o modelo UR3 da Universal Robots o mais utilizado entre estes em trabalhos com enfoque em: Tarefa peg-in-hole [6,4] e controle de brac ¸o duplo robótico [23]; seguido do PANDA [10,34], UR5 [31,22], RM-X52 [32,33] e IRB 1600 [1,2].…”

“…Estas abordagens foram: aprendizado de movimentos ponto a ponto [3], aprendizado com feedback interativo [27], algoritmos de interac ¸ão contínua [24], manipulac ¸ão de objetos [35], tarefa de abertura de porta [45], manipulac ¸ão coordenada de multi-robôs [20], controle neural adaptativo [42], controle de manipuladores [18], planejamento de trajetória [47], inspec ¸ão robótica [14] e controle de posic ¸ão [49]. [48,17,19,38] Não utilizou [3,27,24,35,45,20,42,18,47,14,49] Verifica-se também que a variedade de manipuladores robóticos utilizados é ampla, sendo o modelo UR3 da Universal Robots o mais utilizado entre estes em trabalhos com enfoque em: Tarefa peg-in-hole [6,4] e controle de brac ¸o duplo robótico [23]; seguido do PANDA [10,34], UR5 [31,22], RM-X52 [32,33] e IRB 1600 [1,2]. Além disso, 3 trabalhos fizeram o uso de manipuladores produzidos em laboratório, customizados ou com pec ¸as impressas em 3D, implementados em: Controle de articulac ¸ões robóticas [36], planejamento de movimento [46] e mapeamento de controlador de brac ¸o robótico [37].…”

A Reinforcement Learning Based Dirt-Exploration for Cleaning-Auditing Robot

“…In robotics, application of reinforcement learning (RL) is a topic that is given significant research importance [23][24][25][26][27]. The application of Reinforcement learning is mostly used for solving challenges in perception, navigation, and control problems.…”