Learning-Based Path Following Control for an Over-Actuated Robotic Vehicle

Abstract

Für autonome Fahrzeuge stellt die Pfadfolgeregelung eine Schlüsselfunktion dar. Die Pfadfolgeregelung steuert hierbei Antrieb, Lenkung und Bremse derart, dass das Fahrzeug einem geometrischen Pfad mit einer Referenzgeschwindigkeit folgt. Für die Auslegung von leistungsfähigen modellbasierten Pfadfolgereglern wird ein ausreichend genaues Synthesemodell des Fahrzeuges benötigt. Der Entwurf, die Parametrierung und das Testen von modellbasierten Pfadfolgereglern, sowie das Ableiten eines Synthesemodells ist allerdings eine zeitaufwändige Aufgabe. In der klassischen Regelungstechnik werden deshalb vermehrt Reinforcement Learning (RL) Methoden angewandt, um Regelungsprobleme ohne Synthesemodell, nur mit Hilfe von hochgenauen Simulationsmodellen zu lösen. Um den Einsatz von RL Methoden auf das Pfadfolgeproblem zu untersuchen, wird in diesem Beitrag die Anwendung am Beispiel des überaktuierten robotischen Fahrzeuges ROboMObil des DLRs vorgestellt. Erste Simulationsergebnisse zeigen, dass RL basierte Pfadfolgeregler auf dem Trainingspfad ein ähnlich gutes Folgeverhalten aufweisen, wie modellbasierte Pfadfolgeregler. Die RL basierten Regler erzielen dabei auch auf neuen und unbekannten Pfaden gute Ergebnisse.

Reinforcement Learning-Based Path Following Control with Dynamics Randomization for Parametric Uncertainties in Autonomous Driving

“…This term dominates the overall reward, since it is the only term multiplied by one (cf. Equation ( 5)), which is in-line with the hierarchical reward structure of prioritizing the minimization of the lateral position error first [14]. Furthermore, the value of g θ y e P y is multiplied by the reward term r e e P ψ , e P v x consisting of the Gaussian-like functions g θ ψ e P ψ and g θ vx e P v x (cf.…”

“…To overcome this issue and train robust agents for a path-following control task in the presence of uncertain and changing dynamics parameters, we apply dynamics randomization during the reinforcement learning process in this work. The underlying path following control problem considered in this paper is based on our previous work in [14] and is introduced in detail in Appendix A. We assume that the path boundaries can be detected in each time step and that a path planning module, such as in [15], is given.…”

“…To successfully minimize these errors and learn the control task, a suitable observation space needs to be observed by the agents during training that contains all the necessary information regarding the environment. In this work, the observation vector 𝒔 𝑘 , also called the state, is chosen based on our previous work in [14]. Here, the aforementioned errors 𝑒 𝑦 P , 𝑒 𝜓 and 𝑒 𝑣 𝑥 P as well as the velocity error 𝑒 𝑣 𝑦 P in lateral direction to the path (cf.…”

“…For the pathfollowing control task, the agent should learn to control the vehicle such that the lateral offset e P y , the orientation error e ψ and the velocity errors e P v x are minimized. However, as mentioned in [14], the agent's primary control goal should be to minimize the lateral position error e P y , since a large lateral offset could negatively influence safety and possibly cause collisions. After minimizing the lateral position error, the agent should learn to control the vehicle such that it achieves the commanded orientations and velocities and both e P ψ and e P v x approach zero.…”

“…Furthermore, smooth steering behavior should be favored. Therefore, a hierarchical structure for the reward function is chosen, as in [14]. More specifically, the reward function is set to r PFC e P y , e P ψ , e P v x , ∆δ f , ∆δ r = g θ y e P y 1 + r e e P ψ , e P v x (1 + r ∆δ (∆δ f , ∆δ r ))…”