Impact of small-world topology on the performance of a feed-forward artificial neural network based on 2 different real-life problems

Erkaymaz, Okan; Özer, Mahmut; Yumuşak, Nejat

doi:10.3906/elk-1202-89

Cited by 21 publications

(14 citation statements)

References 24 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…These findings seem to put into perspective previous results of advantages of a network with small world architecture 32 , 33 . However, it should be kept in mind that we have only considered recurrent networks, but not the modified version of a feed-forward network, as it was used in e. p. 34 . The size of the network must also be taken into account here.…”

Section: Resultsmentioning

confidence: 99%

The structure dilemma in biological and artificial neural networks

Pircher

Schlücker

et al. 2021

Sci Rep

View full text Add to dashboard Cite

Brain research up to date has revealed that structure and function are highly related. Thus, for example, studies have repeatedly shown that the brains of patients suffering from schizophrenia or other diseases have a different connectome compared to healthy people. Apart from stochastic processes, however, an inherent logic describing how neurons connect to each other has not yet been identified. We revisited this structural dilemma by comparing and analyzing artificial and biological-based neural networks. Namely, we used feed-forward and recurrent artificial neural networks as well as networks based on the structure of the micro-connectome of C. elegans and of the human macro-connectome. We trained these diverse networks, which markedly differ in their architecture, initialization and pruning technique, and we found remarkable parallels between biological-based and artificial neural networks, as we were additionally able to show that the dilemma is also present in artificial neural networks. Our findings show that structure contains all the information, but that this structure is not exclusive. Indeed, the same structure was able to solve completely different problems with only minimal adjustments. We particularly put interest on the influence of weights and the neuron offset value, as they show a different adaption behaviour. Our findings open up new questions in the fields of artificial and biological information processing research.

show abstract

Section: Resultsmentioning

confidence: 99%

The structure dilemma in biological and artificial neural networks

Pircher

Schlücker

et al. 2021

Sci Rep

View full text Add to dashboard Cite

show abstract

“…At last, the mathematical model determines the activation level of the neuron using the transfer function as shown in Figure 2. This is done once the activation level exceeds the threshold value [76,77]. Figure 2.…”

Section: Artificial Neural Network Modelmentioning

confidence: 99%

Stochastic Modeling Technology for Grain Crops Storage Application : Review

Mazima¹,

Johnson²,

Manasseh³

et al. 2016

IJAIA

View full text Add to dashboard Cite

Stochastic modeling is a key technique in event prediction and forecasting applications. Recently, stochastic models such as the Artificial Neural Network, Hidden Markov, and Markov Chain have received a significant attention in agricultural application. These techniques are capable of predicting the actions for the better planning and management in various fields. This work comprehensively summarizes and compares their applications such as their processing techniques, performance, as well as their strengths and limitations with regard to event prediction and forecasting. The work ends with recommendations on the appropriate techniques for cereal grain storage application.

show abstract

“…Biyolojik nöron ağlarının veriyi kodlayarak hücreden hücreye aktarmasına bezer şekilde, YSA mimarisi de katmanlar arası nöronların birbirleriyle kurdukları bağlantıların gücünü değiştirerek bilgiyi kodlar. Bu nedenle, bağlantıların sinaptik gücünün değiştirilmesi süreci yapay öğrenme olarak kabul edilmektedir [2][3][4]. Öğrenme sürecinin modellenmesinde özellikle İleri Yönlü YSA ağlarında; geri yayılım (Backpropagation, BP), Esnek geri yayılım (Resilient Back-propagation, Rprop) [4] ve Levenberg Marquard(LM) algoritmaları en bilinen algoritmalardır.…”

Section: Introductionunclassified

“…tarafından önerilen ve Erkaymaz ve arkadaşları[4,16], tarafından kapsamı geliştirilen, lokal katsayı (D Lokal ) ve global katsayıları (D Global ) kullanılmıştır. Burada; D Lokal , 1/C ile eşdeğer, D Global ise L parametresine eşdeğer kabul edilmektedir.…”

unclassified

Fonksiyon yaklaşımı probleminde esnek küçük-dünya ağlarının topolojik değişiminin performansa etkisi

Erkaymaz¹

2020

El-Cezeri Fen Ve Mühendislik Dergisi

Self Cite

View full text Add to dashboard Cite

İleri yönlü yapay sinir ağları performansı topolojiyle doğrudan ilişkilidir. Son yıllarda, topolojik değişikliklerle ağ performansının artırılması üzerine yapılan çalışmalar çok önemli bir süreç haline gelmiştir. Bu nedenle, nöronlar arası sinaptik bağlantıların değiştirildiği bir yaklaşım olan küçük-dünya ağ modeli gelecek çalışmalar için önemli bir yere sahiptir. Bu çalışmada, fonksiyon yaklaşımı problemleri için esnek küçük-dünya ağ modelinin katmansal ve nöronal değişimlerle performansının nasıl değiştiği araştırılmıştır. Elde edilen sonuçlar gösterdi ki, geleneksel esnek yapay sinir ağı topolojisine göre esnek küçük-dünya ağının performansı çok daha fazla iyileştirdiği ve katman sayısının artırılmasının ağ performansına ciddi katkı sağladığı gözlemlenmiştir. Diğer taraftan, katman sayısı ile birlikte gizli katman nöron sayısının artırıldıkça performansa negatif etki ettiği görülmüştür. Bu bağlamda, çoklu gizli katmana sahip esnek küçük-dünya ağlarının fonksiyon yaklaşımı probleminin çözümünde pozitif etki ettiği gösterilmiş ve özellikle bu modelin gelecekte derin nöron ağları performansının geliştirilmesinde anahtar rol oynayacağı vurgulanmıştır.

show abstract

Impact of small-world topology on the performance of a feed-forward artificial neural network based on 2 different real-life problems

Cited by 21 publications

References 24 publications

The structure dilemma in biological and artificial neural networks

The structure dilemma in biological and artificial neural networks

Stochastic Modeling Technology for Grain Crops Storage Application : Review

Fonksiyon yaklaşımı probleminde esnek küçük-dünya ağlarının topolojik değişiminin performansa etkisi

Contact Info

Product

Resources

About