Research on Door Opening Operation of Mobile Robotic Arm Based on Reinforcement Learning

Abstract

The traditional robotic arm control method has strong dependence on the application scenario. To improve the reliability of the mobile robotic arm control when the scene is disturbed, this paper proposes a control method based on an improved proximal policy optimization algorithm. This study researches mobile robotic arms for opening doors. At first, the door handle position is obtained through an image-recognition method based on YOLOv5. Second, the simulation platform CoppeliaSim is used to realize the interaction between the robotic arm and the environment. Third, a control strategy based on a reward function is designed to train the robotic arm and applied to the opening-door task in the real environment. The experimental results show that the proposed method can accelerate the convergence of the training process. Besides, our method can effectively reduce the jitter of the robotic arm and improve the stability of control.

Research on the opening method of robotic arm based on force feedback reinforcement learning

“…This study establishes an experimental platform dedicated to robotic unpacking operations, encompassing a mobile robotic arm platform apparatus alongside a laboratory door (Wang et al, 2022). This mobile manipulator is intricately composed of a six-degree-offreedom manipulator, a crawler chassis, a gripper, and a camera, all illustrated in Fig.…”

Aplicações de Aprendizado por Reforço em Manipuladores Robóticos: Uma Revisão Sistemática

“…A partir dos dados exibidos na Tabela 1, conclui-se que 28,95% dos trabalhos estudados não utilizam manipuladores reais, mas simuladores para validar os experimentos e suas respectivas abordagens propostas. Estas abordagens foram: aprendizado de movimentos ponto a ponto [3], aprendizado com feedback interativo [27], algoritmos de interac ¸ão contínua [24], manipulac ¸ão de objetos [35], tarefa de abertura de porta [45], manipulac ¸ão coordenada de multi-robôs [20], controle neural adaptativo [42], controle de manipuladores [18], planejamento de trajetória [47], inspec ¸ão robótica [14] e controle de posic ¸ão [49]. [48,17,19,38] Não utilizou [3,27,24,35,45,20,42,18,47,14,49] Verifica-se também que a variedade de manipuladores robóticos utilizados é ampla, sendo o modelo UR3 da Universal Robots o mais utilizado entre estes em trabalhos com enfoque em: Tarefa peg-in-hole [6,4] e controle de brac ¸o duplo robótico [23]; seguido do PANDA [10,34], UR5 [31,22], RM-X52 [32,33] e IRB 1600 [1,2].…”

“…Estas abordagens foram: aprendizado de movimentos ponto a ponto [3], aprendizado com feedback interativo [27], algoritmos de interac ¸ão contínua [24], manipulac ¸ão de objetos [35], tarefa de abertura de porta [45], manipulac ¸ão coordenada de multi-robôs [20], controle neural adaptativo [42], controle de manipuladores [18], planejamento de trajetória [47], inspec ¸ão robótica [14] e controle de posic ¸ão [49]. [48,17,19,38] Não utilizou [3,27,24,35,45,20,42,18,47,14,49] Verifica-se também que a variedade de manipuladores robóticos utilizados é ampla, sendo o modelo UR3 da Universal Robots o mais utilizado entre estes em trabalhos com enfoque em: Tarefa peg-in-hole [6,4] e controle de brac ¸o duplo robótico [23]; seguido do PANDA [10,34], UR5 [31,22], RM-X52 [32,33] e IRB 1600 [1,2]. Além disso, 3 trabalhos fizeram o uso de manipuladores produzidos em laboratório, customizados ou com pec ¸as impressas em 3D, implementados em: Controle de articulac ¸ões robóticas [36], planejamento de movimento [46] e mapeamento de controlador de brac ¸o robótico [37].…”

“…O estudo de [45] aplicou e demonstrou que o método PPO aprimorado tem alta precisão e estabilidade ao concluir a operac ¸ão de abertura de porta realizada por um brac ¸o robótico móvel.…”

Hierarchical Learning of Robotic Contact Policies

“…The approach proposed in [6], which combines PI 2 learning and compliant controller, required 9 roll-outs on average. Another approach [46] proposed policy learning in the simulated environment and application of learned policy in a real environment. Learning in a simulated environment took approx 300 trials.…”