Generating Musical Expression of MIDI Music with LSTM Neural Network

Jedrzejewska, Maria Klara; Zjawinski, Adrian; Stasiak, Bartłomiej

doi:10.1109/hsi.2018.8431033

Cited by 9 publications

(6 citation statements)

References 7 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Чтобы выполнить обязанности «критика», использован механизм оценки (рис. 7), проверяющий, насколько хорошо выходной midi-файл семантически соответствует входному изображению [11]. С этой целью авторами применён подход двойного кодировщика.…”

Section: рис 3 схема эволюционного алгоритмаunclassified

“…Такие обучающие пары совпадающих изображений и музыки [11], а также параметры управления f и g были оптимизированы так, чтобы сходство этих пар было высоким, а сходство несовпадающих парнизким. Авторы проводили эксперименты с различными предварительно обученными нейронными сетями двойных кодировщиков, но пока не проводили систематического исследования их различий.…”

Section: рис 3 схема эволюционного алгоритмаunclassified

See 1 more Smart Citation

Methods of Artificial Intelligence in the Generation of Algorithmic Musical Compositions

Buryakova¹,

Reshetnikova²,

Cherkesova³

2022

СНТ (MHT)

View full text Add to dashboard Cite

Предлагаемая статья посвящена процессу генерации музыкальных композиций искусственными нейронными сетями по заранее заданным параметрам. Обучение нейронных сетей проведено по образцам классической (джазовой, рок и др.) музыки и по изображениям. В работе проанализированы существующие сегодня в мире системы нейросетевой генерации музыки, а также исследованы алгоритмы и программные средства, разработанные в этой области, как зарубежные, так и отечественные. Разработана нейросетевая encoder-decoder архитектура, для построения которой авторами были применены методы и механизмы генеративных моделей обработки мультимодальной информации и нейронные сети. Исследован механизм внимания, разработан кодировщик изображений, предложен набор данных (датасет) и применён алгоритм эволюционного обучения нейронной сети. Проведен анализ структуры, алгоритмическое и программное конструирование, реализованы алгоритмы его модулей, исследованы современные библиотеки и функции программного обеспечения, связанные с разработкой и оценкой качества сгенерированного музыкального ряда. Реализовано программное средство, предназначенное для алгоритмической генерации музыкальных композиций на основе изображений по заданным параметрам обучения нейронной сети. Для его создания использована программная платформа в виде фреймворка машинного обучения Pytorch языка Python. Полученные в виде звуковых музыкальных файлов композиции, сгенерированные искусственной нейронной сетью, могут быть полезны и оказать существенную помощь в работе композиторов, звукорежиссёров или музыкальных оформителей в самых различных ситуациях: при написании саундтреков кино-, теле-или мультфильмов, музыки для спектаклей и театральных постановок, при озвучивании экспозиций в мультимедийных музеях, при звуковом оформлении мероприятий разного формата, выставок, концертов, шоу-программ, онлайн-и офлайн-мероприятий, проводимых в маркетинговых целях, и др. Осуществлена демонстрация работы программного средства в виде прослушивания звуковых midi-файлов, содержащих музыкальные композиции, сгенерированные нейронной сетью по заданным параметрам. Ключевые слова: искусственные нейронные сети, нейросетевая генерация музыки, генеративное моделирование, мультимодальная информация, алгоритмы эволюционного обучения, кодировщик изображений, датасет METHODS OF ARTIFICIAL INTELLIGENCE IN THE GENERATION OF ALGORITHMIC MUSICAL COMPOSITIONS Buryakova O.S., Reshetnikova I.V., Cherkesova L.V.

show abstract

Section: рис 3 схема эволюционного алгоритмаunclassified

Methods of Artificial Intelligence in the Generation of Algorithmic Musical Compositions

Buryakova¹,

Reshetnikova²,

Cherkesova³

2022

СНТ (MHT)

View full text Add to dashboard Cite

show abstract

“…The accuracy from the RNN could be compared with the currently proposed CNN's accuracy on the same dataset. This is an area of research already being investigated [56,57].…”

Section: Future Workmentioning

confidence: 99%

Neural Network Music Genre Classification

Pelchat

Gelowitz

2020

Can. J. Electr. Comput. Eng.

View full text Add to dashboard Cite

show abstract

“…As shown in the spectrogram in Figure 1, expressive dynamics control the loudness of an instrument, which is a subjective perception of sound pressure. In a performance, the performer focuses not only on performing the correct pitch and duration of the notes but also on conveying musical expression including loudness intended by the composer (Jędrzejewska, Zjawiński, and Stasiak 2018). In order to create high-quality and realistic music using deep learning techniques, recent studies have aimed to mimic characteristics of human performances including expressive dynamics (Huang et al 2018;Huang and Yang 2020).…”

Section: Introductionmentioning

confidence: 99%

MID-FiLD: MIDI Dataset for Fine-Level Dynamics

Ryu,

Rhyu,

Yoon

et al. 2024

AAAI

View full text Add to dashboard Cite

One of the challenges in generating human-like music is articulating musical expressions such as dynamics, phrasing, and timbre, which are difficult for computational models to mimic. Previous efforts to tackle this problem have been insufficient due to a fundamental lack of data containing information about musical expressions. In this paper, we introduce MID-FiLD, a MIDI dataset for learning fine-level dynamics control. Notable properties of MID-FiLD are as follows: (1) All 4,422 MIDI samples are constructed by professional music writers with a strong understanding of composition and musical expression. (2) Each MIDI sample contains four different musical metadata and control change \#1 (CC\#1) value. We verify that our metadata is a key factor in MID-FiLD, exerting a substantial influence over produced CC\#1 values. In addition, we demonstrate the applicability of MID-FiLD to deep learning models by suggesting a token-based encoding methodology and reveal the potential for generating controllable, human-like musical expressions.

show abstract

Generating Musical Expression of MIDI Music with LSTM Neural Network

Cited by 9 publications

References 7 publications

Methods of Artificial Intelligence in the Generation of Algorithmic Musical Compositions

Methods of Artificial Intelligence in the Generation of Algorithmic Musical Compositions

Neural Network Music Genre Classification

MID-FiLD: MIDI Dataset for Fine-Level Dynamics

Contact Info

Product

Resources

About