Adaptive optimal control for continuous-time linear systems based on policy iteration

Explorized Policy Iteration For Continuous-Time Linear Systems

“…Pastravanu, Abu-Khalaf, Lewis가 제안한 정책반복법 [5], [8], [9]은 시스템의 내부 모델과 상태변수 미분치를 모르는 상황에서도 적용 가능하며, 제어이론 관점 [10], [11]에서 안 정성과 수렴성이 증명된 정책반복법이다. 이와 같은 시스템 정보를 완전히 알지 못하는 상황에서도 적용 가능한, 안정도 와 수렴성이 보장된 정책반복법은 제어이론적 관점으로 볼 때 적응최적 제어기법으로 분류된다 [5], [8].…”

“…즉, 학습을 위해서는 프로빙 잡음을 통해 상태공간을 충분히 탐색해야 하지만, 이는 상태변수의 수렴성을 저해시키는 요인으로 작용하여, 이 둘 사이의 균형 이 필요하다. 하지만, 연속시간 시스템의 내부 모델의 정보 를 모를 때에도 적용 가능한 [5], [8] …”

“…[8]에서 제안한 정책반복법에서는 주어진 입력   에 대해 아래 Bellman 방정식을 통해 유도된 적분식을 기반으 로 (5)를 만족시키는 가치함수  의 를 학습한다 [5], [8], [9].…”

Model reduction for linear systems and linear time-delay systems from input/output data

“…Definition 3: Consider system (27) and the signal generator (6). Assume σ(Ā(s)) ⊂ C <0 , system (27) is minimal and suppose Assumptions 1, 3 and 4 hold.…”

“…In this paper, inspired by the learning algorithm given in [25] to solve a model-free adaptive dynamic programming problem (see also the references therein, e.g. [26], [27]), we propose an on-line algorithm for the model reduction of linear systems and linear time-delay systems from data. Collecting, at a given sequence of time instants t k , timesnapshots (which resemble the ones used to compute a proper orthogonal decomposition (POD), see e.g.…”