Coordenação dos atuadores das pernas de robôs móveis usando aprendizado por reforço: simulação e implementação

Abstract

Actuator Coordination for Legged Mobile Robots Using Reinforcement Learning: Simulation and ImplementationThis article presents a solution to the problem of how to coordinate the actuators of a legged robot such that its frontal speed is maximized. It is assumed that the position of each leg actuator is described by a periodic function that has to be determined using a reinforcement learning technique called Learning Automata. Analysis of the robot morphology is used to group similar legs and decrease the number of actuator functions that must be determined. MATLAB/Simulink and the SimMechanics Toolbox are used to simulate the robot walking on a flat surface. The simulated robot response is evaluated by the reinforcement learning technique considering: 1) the robot frontal speed, 2) the smoothness of the robot movements, 3) the largest torque required by all actuators, and 4) the energy consumption. After the reinforcement learning algorithm converges to a solution, the actuators functions are applied to the real robot that was built using the Bioloid Comprehensive Kit, an educational robot kit manufactured by Robotis. The response of the real robot is then evaluated and RESUMOEste artigo apresenta uma solução para o problema de coordenação dos atuadores das pernas de robôs móveis com o objetivo principal de maximizar a sua velocidade frontal.É assumido que a posição no tempo de cada atuadoré descrita por uma função periódica que deve ser determinada de forma iterativa por um algoritmo de aprendizado por reforço. As pernas similares do robô são identificadas e agrupadas visando diminuir o número de funções que precisam ser determinadas. O toolbox SimMechanics do software MATLAB/Simulinké usado para simular o caminhar do robô em uma superfície plana. O desempenho do robô simuladoé medido considerando: a) a velocidade frontal e a suavidade na locomoção do robô, e b) o máximo torque e o consumo de energia dos atuadores. As funções que foram determinadas no ambiente de simulação pelo algoritmo de reforço são então usadas nos atuadores do robô real construído usando o