A Dynamic Grid-based Q-learning for Noise Covariance Adaptation in EKF and its Application in Navigation

Abstract

The process and measurement noise covariance matrices significantly impact the Extended Kalman Filter (EKF) performance and are often hand-tuned in practice, which usually entails a tedious task. Q-learning, a wellknown method in reinforcement learning, has been applied recently to better adapt the noise covariance matrices for the EKF, thanks to its simplicity and capability in handling uncertain environments. Typically, some heuristics are involved in designing the Q-learning-based EKF (QLEKF), such as tuning grid size and covariance matrices values of each state, which inevitably degrades the estimation performance when the heuristics are not suitable. We propose a dynamic grid-based Qlearning EKF (DG-QLEKF) to overcome that drawback, which brings two novelties, an updated ϵ-greedy algorithm and a dynamic grid strategy. The proposed algorithm and strategy can thoroughly exploit arbitrary search scope and find appropriate values of noise covariance matrices. The effectiveness of DG-QLEKF, applied in navigation for attitude and bias estimation, is validated through the Monte Carlo method and real flight data from an unmanned aerial vehicle. The DG-QLEKF leads to much more improved state estimation than the QLEKF and traditional EKF.

Navigation magnéto-inertielle - Filtrage de Kalman et intelligence artificielle

“…Pour cela nous proposons d'utiliser ici le filtrage de Kalman avec apprentissage par renforcement Q-Learning statique pour les matrices de covariance de bruits (QLEKF) [27]. Ce travail sera amélioré dans la section 4.2 via une technique d'apprentissage dynamique (plus précisèment le Q-Learning dynamique [33]). Dans la méthode d'apprentissage Q-Learning, un agent se déplace généralement entre des états discrets dans une grille.…”

“…Dans [33], on propose une stratégie de grille dynamique pour résoudre la difficulté de déterminer la taille de la grille et les valeurs d'état du QLEKF. Soit (Q 0 , R 0 ) désignent les matrices de covariance de bruits initiales utilisées pour l'EKF traditionnel.…”

“…-La grille dynamique de 3 par 3 d'états (paires de matrices de covariance des bruits de processus et de mesure) et les actions possibles correspondantes, représentées par des flèches. L'agent peut "rester " à son état actuel ou se déplacer vers son état adjacent en exécutant une action [33].…”

“…Dans [33], on illustre en détail l'idée de l'algorithme de Q-Learning basé sur une grille dynamique. Pour commencer, on définit la convergence globale de l'état dans le contexte du Q-Learning associé à l'algorithme ϵ-greedy amélioré.…”

“…Augmenter r et q {la grille actuelle est bien exploitée, élargissez le champ de recherche} Dans cette section nous énonçons un résultat de convergence du carré moyen de l'erreur d'estimation d'état du DG-QLEKF et nous donnons les étapes principales de la démonstration (ce résultat est énoncé, mais pas prouvé, dans [33]). Pour cela, nous rappelons l'EKF traditionnel présenté pour (5) dans la section 3.3.2 et nous utilisons l'approximation de Taylor suivante :…”