Analysis and Experimental Research of Model-Free Reinforcement Learning Method

Abstract

Розглянуто сучасний метод машинного навчання, який має назву навчання з підкріпленням. У задачах, які розв'язуються на основі взаємодії, найчастіше непрактично намагатися отримувати приклади необхідної поведінки інтелектуального програмного агента, які були б одночасно коректними та доречними для всіх ситуацій, оскільки наявні умови невизначеності, що виникають через неповноту інформації про навколишнє середовище та можливі дії інших ботів або людей. Тому програмний агент повинен навчатися на основі власного досвіду. Важливою перевагою навчання з підкріпленням є можливість навчання бота «з нуля» за рахунок збалансованого поєднання (пошук компромісу) режимів «дослідження»-«застосування» та вивчення стратегій, які дозволяють жертвувати малим на певному етапі заради отримання більшої вигоди в подальшому. Дослідження в області навчання з підкріпленням можна вважати частиною загального процесу, який розвивається в останні роки. Він складається зі взаємодії штучного інтелекту та інженерних дисциплін, тому саме у навчанні з підкріпленням розвиваються ідеї, взяті з теорії оптимального управління, стохастичної оптимізації та апроксимації, прагнучи реалізації загальніших і амбітних цілей штучного інтелекту. Представлено математичний апарат навчання з підкріпленням із залученням методу безмодельного Q-навчання, показано практичні аспекти його застосування, а також розроблено ефективну стратегію навчання бота у штучному середовищі (комп'ютерній відеогрі). В ролі спостережуваних змінних об'єкта виступає інформація, яку використовує агент, а прихованими змінними є довгострокові оцінки отриманої ним вигоди. Залежно від поточного стану середовища і дій бота розраховується функція вигоди, яку отримає агент у наступний момент часу. З використанням розробленого програмного забезпечення виконано експериментальні дослідження розглянутого методу. У роботі отримано оптимальні параметри налаштування, криві та час навчання бота. Результати дослідження можуть бути корисними для комп'ютерних систем різного функціонального призначення, їх можна застосовувати у моделюванні та проектуванні, в системах автоматичного керування та прийняття рішень, робототехніці, на фондових ринках тощо. Ключові слова: штучний інтелект, машинне навчання, навчання з підкріпленням, Q-навчання, стратегія навчання, інтелектуальний програмний агент, бот, оптимальні параметри, криві навчання, експериментальні дослідження. Вступ Ідея штучного інтелекту з'явилася в 1950-х роках, коли дослідники у галузі комп'ютерних наук почали цікавитись, чи можуть комп'ютери «думати»це питання є актуальним і все ще інтенсивно досліджується. Штучний інтелект охоплює машинне навчання (machine learning), глибоке навчання (deep learning), навчання з підкріпленням (reinforcement learning), активне навчання (active learning), навчання з учителем (supervised learning) і без нього (unsupervised learning) (рис. 1) [1]. Проблематика та основні концепції машинного навчання пов'язані із питанням: чи може