Любая информационная система, взаимодействующая с пользователем напрямую, нуждается не только в анализе смысла команд или действий человека, но также и в понимании его эмоций -невербального общения. Для разработки программного средства автоматического распознавания эмоций выбрана технология сверточной нейронной сети. Её предназначением является эффективное распознавание образов (изображений) -выходы скрытых промежуточных слоёв образуют матрицу (изображение) или набор матриц -несколько слоёв изображения. На вход сверточной нейронной сети подаётся три слоя изображения, которые обрабатываются отдельно и сравниваются с изображениями из базы данных. Авторами изучены современные программы -анализаторы эмоций, как отечественные, так и зарубежные, и существующие наборы данных (датасеты) для обучения свёрточных нейронных сетей, выполнен синтез и обучение модели. Для программной реализации решено использовать язык программирования Python версии 3 с дистрибутивом Anaconda, а также интегрированную среду разработки Jupiter Notebook, модули OpenCV и TensorFlow. Проведено тестирование, где была продемонстрирована работоспособность программного средства. При обсуждении результатов работы было отмечено, что именно эмоции движут поведением человека, в том числе деструктивными поступками, что важно для органов правопорядка. Программное средство находит применение во многих сферах: с его помощью можно определить воздействие рекламы на покупателя, узнать реакцию аудитории на фильмы, спектакли, шоу и др.; в сфере образования можно изучать настроение и внимание учеников во время занятий; в работе с персоналом можно определить эмоциональное состояние сотрудника, своевременно заметить его усталость, недовольство, готовность на конфликт и эффективнее перераспределить задачи; его можно использовать в медицине при реабилитации пациентов; оно может применяться в робототехнике, направленной на сферу услуг и работу с клиентами, и др. Ключевые слова: искусственный интеллект, искусственные нейронные сети, технология свёрточных нейронных сетей, нейросетевая система распознавания эмоций, датасет, изображения, эмоции INTELLIGENT EMOTION RECOGNITION SYSTEM BASED ON CONVOLUTIONAL NEURAL NETWORK TECHNOLOGY Buryakova O.S., Reshetnikova I.V., Cherkesova L.V.
Предлагаемая статья посвящена процессу генерации музыкальных композиций искусственными нейронными сетями по заранее заданным параметрам. Обучение нейронных сетей проведено по образцам классической (джазовой, рок и др.) музыки и по изображениям. В работе проанализированы существующие сегодня в мире системы нейросетевой генерации музыки, а также исследованы алгоритмы и программные средства, разработанные в этой области, как зарубежные, так и отечественные. Разработана нейросетевая encoder-decoder архитектура, для построения которой авторами были применены методы и механизмы генеративных моделей обработки мультимодальной информации и нейронные сети. Исследован механизм внимания, разработан кодировщик изображений, предложен набор данных (датасет) и применён алгоритм эволюционного обучения нейронной сети. Проведен анализ структуры, алгоритмическое и программное конструирование, реализованы алгоритмы его модулей, исследованы современные библиотеки и функции программного обеспечения, связанные с разработкой и оценкой качества сгенерированного музыкального ряда. Реализовано программное средство, предназначенное для алгоритмической генерации музыкальных композиций на основе изображений по заданным параметрам обучения нейронной сети. Для его создания использована программная платформа в виде фреймворка машинного обучения Pytorch языка Python. Полученные в виде звуковых музыкальных файлов композиции, сгенерированные искусственной нейронной сетью, могут быть полезны и оказать существенную помощь в работе композиторов, звукорежиссёров или музыкальных оформителей в самых различных ситуациях: при написании саундтреков кино-, теле-или мультфильмов, музыки для спектаклей и театральных постановок, при озвучивании экспозиций в мультимедийных музеях, при звуковом оформлении мероприятий разного формата, выставок, концертов, шоу-программ, онлайн-и офлайн-мероприятий, проводимых в маркетинговых целях, и др. Осуществлена демонстрация работы программного средства в виде прослушивания звуковых midi-файлов, содержащих музыкальные композиции, сгенерированные нейронной сетью по заданным параметрам. Ключевые слова: искусственные нейронные сети, нейросетевая генерация музыки, генеративное моделирование, мультимодальная информация, алгоритмы эволюционного обучения, кодировщик изображений, датасет METHODS OF ARTIFICIAL INTELLIGENCE IN THE GENERATION OF ALGORITHMIC MUSICAL COMPOSITIONS Buryakova O.S., Reshetnikova I.V., Cherkesova L.V.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
customersupport@researchsolutions.com
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
Copyright © 2025 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.