A study for Motion-Planning Method Resident-tracking Robot based on Reinforcement Learning

Evaluation of a Path Finding Algorithm for Mobile Robots using Deep Reinforcement Learning

“…現在，少子高齢化が著しく進行する日本 (1) では，高齢 者の支援をする医療・介護の人材が大きく不足している 。 これに連動する形で独居世帯や老老介護といった問題が 顕在化している。このような状況の中で，いわゆる見守 りシステムが注目されている 。従来方式である定点セン サ式見守り (2) は，部屋毎に各種センサを取り付けるとい う手法上コストがかかる。また IoT デバイスなどを用い た携帯式見守り (3) は，身につけていないと見守れないな どそれぞれ十分な方法とは言えない。そこで，ロボット と 組 み合 わせ た見 守り システ ム が様 々提 案 (4,5) され てき た。 本グループでは，屋内用高齢者見守りロボットの開発 を行っている (6,7) 。本ロボットは，速やかに高齢者と合 流するために，高齢者がいる場所までの最短経路探索を 行う必要がある。経路計画に用いる各要素技術では多く の研究がなされており，目的地までのコストが最小な経 路を導く Dijkstra 法 (8) や A*手法 (9) などが一般的である。 先に挙げた手法は目的地が変動しない場合において，こ の目的地までのコストが最小な経路を導くことができる 一方で，目的地が変動する場合は本質的にコストが最小 と なる 経路は 解けな い (10) 。こ のよ うな理 由から ，近 年， 深層強化学習を用いた経路計画に関する研究が行われて おり，目的地が移動することを考慮した経路作成が可能 であることが示されている (11,12) (13) ，PPO (Proximal Policy Optimization) (14) 及び A2C (Advantage Actor-Critic) (15) の 3 種類を用いて学習実 験を行った。なお DQN には，Double-DQN (16) ， Dueling Network DQN (Dueling-DQN) (17) 及び Prioritized Experience Replay (18)…”