The formation of the correlated noises

Abstract

При разработке моделей, основанных на искусственных нейронных сетях, выбор моде-ли нейронной сети основывается на эмпирических знаниях исследователя, что крайне негативно сказывается на пороге вхождения, обоснованности и корректности работы модели, времени обучения и других аспектах. Таким образом, задача обоснования вы-бора модели нейронной сети является актуальной задачей. В статье рассматривается подход к формированию структуры нейронной сети на основе предварительно рассчи-танной структуры сети Петри. Приведены реализации данного подхода на примерах по-строения нейронных сетей для логических функций «и», «или», «исключающего или», выбора максимального числа и другие. По результатам экспериментов сделаны выводы о неоднозначности обучения в нейронных сетях, а именно, что при различных началь-ных условиях могут получиться различные веса параметров. Также в статье исследуется влияние крутизны сигмоидальной функции на обучение нейронных сетей. По результа-там экспериментов сделаны выводы о том, что незначительное увеличение крутизны (в пределах от 1 до 20 в степени) дает ускорение скорости обучения. Дальнейшее уве-личение крутизны сигмоидальной функции приводит к деградации скорости обучения, а при дальнейшем увеличении -практически к полному останову. Статья заканчивается примером построения нейронной сети для задачи выбора максимального числа среди трех чисел, представленных в бинарном виде тремя разрядами. Эксперимент показал, что полученная структура сети позволяет выполнить обучение примерно в три раза быстрее без потери точности. Такое различие в скорости обучения может быть объяс-нено меньшем количеством параметров в нейронной сети: 102 вместо 127.Ключевые слова: нейронные сети, сети Петри, искусственный интеллект, преобразо-вания, функция активации, keras, регуляризация, обучение