Today, such a branch of science as «artificial intelligence» is booming in the world. Systems built on the basis of artificial intelligence methods have the ability to perform functions that are traditionally considered the prerogative of man. Artificial intelligence has a wide range of research areas. One such area is machine learning. This article discusses the algorithms of one of the approaches of machine learning – reinforcement learning (RL), according to which a lot of research and development has been carried out over the past seven years. Development and research on this approach is mainly carried out to solve problems in Atari 2600 games or in other similar ones. In this article, reinforcement training will be applied to one of the dynamic objects – an inverted pendulum. As a model of this object, we consider a model of an inverted pendulum on a cart taken from the Gym library, which contains many models that are used to test and analyze reinforcement learning algorithms. The article describes the implementation and study of two algorithms from this approach, Deep Q-learning and Double Deep Q-learning. As a result, training, testing and training time graphs for each algorithm are presented, on the basis of which it is concluded that it is desirable to use the Double Deep Q-learning algorithm, because the training time is approximately 2 minutes and provides the best control for the model of an inverted pendulum on a cart.

При разработке моделей, основанных на искусственных нейронных сетях, выбор модели нейронной сети основывается на эмпирических знаниях исследователя, что крайне негативно сказывается на пороге вхождения, обоснованности и корректности работы модели, времени обучения и других аспектах. Таким образом, задача обоснования выбора модели нейронной сети является актуальной задачей. В статье предлагается подход к формированию структуры нейронной сети на основе предварительно разработанной модели сети Петри. Из-за существенного различия в строении нейронной сети и сети Петри такое преобразование основано на ряде допущений: 1) места и переходы в сети Петри преобразуются в нейроны; 2) дуги между местами и переходами в сети Петри преобразуются в связи в нейронной сети; 3) защитные условия на переходах при преобразовании не переносятся в нейронную сеть. На основе задачи выявления наименьшего элемента среди двух сравниваемых чисел приводится пример преобразования сети Петри в нейронную сеть. Приведена структурная схема полученной нейронной сети, а также ее реализации с использованием библиотеки keras. Объем данных составил 10 000 примеров для самого обучения и 3000 примеров для валидации. Точность обучения составила 0.9940.

А.A. ВОЕВОДА, Д.О. РОМАННИКОВ СИНТЕЗ НЕЙРОННОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЛОГИКО-АРИФМЕТИЧЕСКИХ ЗАДАЧВоевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач. Аннотация. Одна из основных проблем, стоящих перед разработчиком системы с нейронной сетью -выбор структуры нейронной сети, которая могла бы решать поставленные задачи. В настоящее время нет однозначных рекомендаций по выбору такой структуры и таких параметров, как: количество слоев, количество нейронов в слое, тип нелинейности нейрона, метод обучения, параметры метода обучения и другие.В статье рассматривается подход к синтезу нейронной сети для класса логико-арифметических задач, основанный на формировании сети из предпостроенных элементарных функций. Новизна предлагаемого подхода заключается в формировании нейронной сети по известному алгоритму с использованием предварительно построенных функций. Таким образом, в статье изначально построены элементарные логико-арифметические функции, такие как «и», «или», «исключающее или», «и-не», «или-не», «», «», «>», «<», которые можно использовать для решения более сложных задач. Также приведен пример решения задачи построения функции по выбору максимального числа из четырех чисел, представленных в бинарном виде тремя разрядами. Синтез нейронной сети вышеприведенным способом выполняется с дальнейшей целью получения обобщенной структуры нейронной сети.Ключевые слова: нейронные сети, машинное обучение, логико-арифметические задачи, синтез нейронной сети.

В статье сравниваются два способа построения нейронных сетей. Первый способ явля-ется классическим способом построения нейронной сети в виде многослойного персеп-трона. Второй основывается на предварительно рассчитанной структуре нейронной се-ти. В статье рассматривается пример нейронной сети, которая выбирает максимальное число из трех чисел, представленных в бинарном виде двумя разрядами. При первом варианте построения нейронной сети она будет представлена как виде последовательно соединенных слоев, где во входном слое содержится 6 нейронов, во втором -5 нейро-нов, в третьем -4 и в последнем (выходном) -2 нейрона. Общее количество обучаемых параметров в такой сети -69. При построении сети исходя из предварительно рассчи-танного варианта сеть будет иметь более сложную структуру, но общее количество обучаемых параметров уменьшается до 44. В статье сравниваются скорости обучения двух полученных нейронных сетей. При использовании предварительно рассчитанных коэффициентов скорость обучения нейронной сети возрастает примерно в два раза., но при использовании одинаковых начальных условий, полученных путем выбора слу-чайных значений из диапазона от 0 до 1 с равномерным распределением, скорость обу-чения многослойной нейронной сети выше, чем у предварительно рассчитанного вари-анта.Ключевые слова: нейронные сети, сети Петри, искусственный интеллект, преобразо-вания, функция активации, keras, регуляризация, обучение

При разработке моделей, основанных на искусственных нейронных сетях, выбор моде-ли нейронной сети основывается на эмпирических знаниях исследователя, что крайне негативно сказывается на пороге вхождения, обоснованности и корректности работы модели, времени обучения и других аспектах. Таким образом, задача обоснования вы-бора модели нейронной сети является актуальной задачей. В статье рассматривается подход к формированию структуры нейронной сети на основе предварительно рассчи-танной структуры сети Петри. Приведены реализации данного подхода на примерах по-строения нейронных сетей для логических функций «и», «или», «исключающего или», выбора максимального числа и другие. По результатам экспериментов сделаны выводы о неоднозначности обучения в нейронных сетях, а именно, что при различных началь-ных условиях могут получиться различные веса параметров. Также в статье исследуется влияние крутизны сигмоидальной функции на обучение нейронных сетей. По результа-там экспериментов сделаны выводы о том, что незначительное увеличение крутизны (в пределах от 1 до 20 в степени) дает ускорение скорости обучения. Дальнейшее уве-личение крутизны сигмоидальной функции приводит к деградации скорости обучения, а при дальнейшем увеличении -практически к полному останову. Статья заканчивается примером построения нейронной сети для задачи выбора максимального числа среди трех чисел, представленных в бинарном виде тремя разрядами. Эксперимент показал, что полученная структура сети позволяет выполнить обучение примерно в три раза быстрее без потери точности. Такое различие в скорости обучения может быть объяс-нено меньшем количеством параметров в нейронной сети: 102 вместо 127.Ключевые слова: нейронные сети, сети Петри, искусственный интеллект, преобразо-вания, функция активации, keras, регуляризация, обучение