Традицiйною схемою роботи з нейронними мережами до недавнього часу було завдання архiтектури нейронної мережi та її подальше навчання. Однак останнi дослiдження в цiй областi показали, що заданi i налаштованi таким чином нейроннi мережi мають значну надмiрнiсть. Тому додатковою операцiєю стала лiквiдацiя цiєї надмiрностi за рахунок прорiджування зв'язкiв в архiтектурi нейронної мережi. Серед безлiчi пiдходiв до лiквiдацiї надмiрностi найбiльш перспективним представляється спiльне використання декiлькох методiв, коли їх сумарний ефект перевищує суму ефектiв одиночного використання кожного з них. Проведено експериментальне дослiдження ефективностi спiльного використання iтерацiйного прорiджування i предобробки (предiскаженiй) вхiдних даних в задачi розпiзнавання рукописних цифр за допомогою багатошарового персептрона. Показано, що використання предобробки вхiдних даних регулярiзує процедуру навчання нейронної мережi, запобiгаючи її перенавчання. Спiльне використання iтерацiйного прорiджування i пред обробки вхiдних даних дозволило отримати меншу помилку розпiзнавання рукописних цифр -1,22 %, в порiвняннi з використанням тiльки прорiджування (помилка зменшилася з 1,89 % до 1,81 %) i з використанням тiльки предiскаженiй (помилка зменшилася з 1,89 % до 1,52 %). Крiм цього регуляризацiя за рахунок предiскаженiй дозволяє отримати монотонно збiльшуючуюся кiлькiсть вiдключених зв'язкiв при збереженнi помилки на рiвнi 1,45 %. Отриманi кривi навчання для однiєї i тiєї ж задачi, якi вiдповiдають початку навчання з рiзних початкових умов, мають рiзнi значення як в процесi навчання, так i в кiнцi навчання. Це свiдчить про багатоекстремальнiсть функцiї якостi -точностi розпiзнавання. Практичне використання цього полягає в пропозицiї проводити багаторазове навчання нейронної мережi з вибором найкращого результатуКлючовi слова: багатошаровий персептрон, нейронна мережа, прорiджування, регуляризацiя, крива навчання, ваговi коефiцiєнти
Pruning connections in a fully connected neural network allows to remove redundancy in the structure of the neural network and thus reduce the computational complexity of its implementation while maintaining the resulting characteristics of the classification of images entering its input. However, the issues of choosing the parameters of the pruning procedure have not been sufficiently studied at the moment. The choice essentially depends on the configuration of the neural network. However, in any neural network configuration there is one or more multilayer perceptrons. For them, it is possible to develop universal recommendations for choosing the parameters of the pruning procedure. One of the most promising methods for practical implementation is considered – the iterative pruning method, which uses preprocessing of input signals to regularize the learning process of a neural network. For a specific configuration of a multilayer perceptron and the MNIST (Modified National Institute of Standards and Technology) dataset, a database of handwritten digit samples proposed by the US National Institute of Standards and Technology as a standard when comparing image recognition methods, dependences of the classification accuracy of handwritten digits and learning rate were obtained on the learning step, pruning interval, and the number of links removed at each pruning iteration. It is shown that the best set of parameters of the learning procedure with pruning provides an increase in the quality of classification by about 1 %, compared with the worst set in the studied range. The convex nature of these dependencies allows a constructive approach to finding a neural network configuration that provides the highest classification accuracy with the minimum amount of computational costs during implementation.
compared with the tonal model. This allows us to recommend the use of the developed model in the program of automatic harmonization of melodies. The contribution of the study to the theory of genetic algorithms is in creation of the new approach to the formation of chromosomes and a multi-factorial quality function, which made it possible to effectively apply genetic algorithms to the task of harmonizing music. The practical significance of the research results consists in automation of the composer work who can concentrate entirely on the creation of a melody. The task of harmonizing the melody with chords can be assigned to a computer. In addition, the obtained high speed of harmonization allows improving the quality of the generated melodies and their compliance with the dynamic situations in computer games.
The author presents an expression for determining the minimum possible length of binary sequences with «not more than one coincidence» property. Obtained low bound length value allows quantitatively estimating efficiency of any known synthesis methods for creation of binary sequences with «not more than one coincidence» property. The efficiency of known methods of creating binary sequences based on extended Galois fields theory is analyzed by comparing the obtained sequences length with a theoretical low bound estimation. The paper shows high performance of the known methods of creation of sequences with «not more than one coincidence» property based on extended Galois fields.
Виявлено основні функції викладача на різних етапах розвитку проблемно-орієнтованого навчання (ПОН). Показано, що вимога підвищення ефективності навчання студентів в області проектування промислових систем управління призводить до істотного розширення і ускладнення ролі викладача в навчальному процесі. Реалізація сучасних підходів до впровадження ПОН багато в чому спирається на чітке розуміння функцій викладача в залежності від рівня впровадження ПОН. Ключові слова: проблемно-орієнтовано навчання, просунуте проблемно-орієнтовано навчання, реальне проблемно-орієнтовано навчання, ітерація, Agile методологія In modern conditions the training effectiveness increase relies mainly on the problem-based learning (PBL) methodology implementation. The article reveals the basic forms of PBL evolution and corresponding teaching staff functions. The study exposed detailed features of teacher role at each of the PBL stages methodology development on the example of teaching the industrial control system design. Taking into account these features will allow making the more accurate choice of the desired model for PBL implementation in teaching and learning process and preparing the relevant methodological support. Due to the teacher role complexity increasing with the PBL development the need for further training of instructors in the PBL methodology as well as in the relevant subject area is underlined.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
customersupport@researchsolutions.com
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.