A retrospective on Adaptive Dynamic Programming for control

Abstract

Some three decades ago, certain computational intelligence methods of reinforcement learning were recognized as implementing an approximation of Bellman's Dynamic Programming method, which is known in the controls community as an important tool for designing optimal control policies for nonlinear plants and sequential decision making. Significant theoretical and practical developments have occurred within this arena, mostly in the past decade, with the methodology now usually referred to as Adaptive Dynamic Programming (ADP). The objective of this paper is to provide a retrospective of selected threads of such developments. In addition, a commentary is offered concerning present status of ADP, and threads for future research and development within the controls field are suggested.

Flexible Heuristic Dynamic Programming for Reinforcement Learning in Quad-Rotors

“…Several forms of actor-critic methods are available [33]. Heuristic Dynamic Programming (HDP) can be seen as the default actor-critic method, where the critic approximates the sum of discounted future rewards.…”

Синтез Нейромережевого Регулятора Для Електромеханічної Системи З Пружними Зв’язками В Кінематичних Передачах

“…В даний час розроблено ряд методів нейроме-режевого управління, викладених в роботах [6][7][8][9][10][11][12][13][14][15][16][17][18][19][20] Ці роботи наочно ілюструють ефективність за-стосування нейромережевих методів управління нелінійними динамічними об'єктами в складних умовах функціонування.…”

“…В даний час розроблено ряд методів нейроме-режевого управління, викладених в роботах [6][7][8][9][10][11][12][13][14][15][16][17][18][19][20]. Отримано багато прикладів успішно працюючих нейромережевих систем управління: літаком [21][22][23], вертольотом [24], гірничозбагачувальним про-цесом [25], автомобілем-роботом [26], гібридним двигуном автомобіля [26], електропіччю [6], турбо-генератором [12], зварювальним апаратом [16], пневмоциліндром [28], об'єктом спеціального при-значення [29], моделлю перевернутого маятника [30] і інших.…”

“…Для вирішення завдань управління найбільшого поширення набули багато-шарові мережі персептронного типу, включаючи їх варіанти з зворотними зв'язками і з лініями затримки на входах за вхідними і вихідними сигналами [5]. Застосування динамічних варіантів методів навчання мереж розглянутого класу дає можливість створюва-ти адаптивні системи управління, які дозволяють за-безпечити ефективну експлуатацію складних систем в умовах різноманітних невизначеностей.В даний час розроблено ряд методів нейроме-режевого управління, викладених в роботах [6][7][8][9][10][11][12][13][14][15][16][17][18][19][20] Ці роботи наочно ілюструють ефективність за-стосування нейромережевих методів управління нелінійними динамічними об'єктами в складних умовах функціонування.Застосування методу нейромережевого управ-ління з прогнозом, який в даний час вважається най-більш ефективним, розглядається в наступних роз-ділах на прикладі задачі управління двомасовою електромеханічною системою з урахуванням пруж-ності механічних зв'язків.7 …”

Heuristic dynamic programming using echo state network as online trainable adaptive critic

“…Unfortunately, dynamic programming could not be used in many applications because of the 'curse of dimensionality', that is, computational complexity increases exponentially with the dimensionality of the application. To overcome this problem, methodologies known as neuro-dynamic programming [4], or adaptive critic design (ACD) [5], also known as adaptive dynamic programming [6], have been proposed. The core of these methods is the approximation of Bellman's equation or value function by learning, and also using neural networks.…”