New activation functions for single layer feedforward neural network

Koçak, Yılmaz; Şiray, Gülesen Üstündaĝ

doi:10.1016/j.eswa.2020.113977

Cited by 46 publications

(15 citation statements)

References 10 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…For example, when it is close to the saturation zone, the transformation is too slow and the derivative tends to zero, which causes a loss of information and disappearance of the gradient (Oostwal et al., 2021). Moreover, the output of the sigmoid function is not zero‐centered (Kocak & Siray, 2021). When the data of the input neuron is positive, the gradient of the sigmoid function will be all positive or all negative in the process of backpropagation, which will cause a z‐shaped drop when the gradient descent weight is updated.…”

Section: Remote Sensing Estimation Methods For Water Qualitymentioning

confidence: 99%

Remote Sensing Big Data for Water Environment Monitoring: Current Status, Challenges, and Future Prospects

Chen

et al. 2022

Earth's Future

101

View full text Add to dashboard Cite

Accurate water extraction and quantitative estimation of water quality are two key and challenging issues for remote sensing of water environment. Recent advances in remote sensing big data, cloud computing, and machine learning have promoted these two fields into a new era. This study reviews the operating framework and methods of remote sensing big data for water environment monitoring, with emphasis on water extraction and quantitative estimation of water quality. The following aspects were investigated in this study: (a) image data source and model evaluation metrics; (b) state-of-the-art methods for water extraction, including threshold-based methods, water indices, and machine learning-based methods; (c) state-of-the-art models for quantitative estimation of water quality, including empirical models, semi-empirical/semi-analytical models, and machine learning-based models; (d) some shortcomings and three challenges of current remote sensing big data for water environment monitoring, namely the new data gap caused by massive heterogeneous data, inefficient water environment monitoring due to "low spatiotemporal resolution," and low accuracy of water quality estimation models resulting from complex water composition and insufficient atmospheric correction methods for water bodies; and (e) five recommendations to solve these challenges, namely, using cloud computing and emerging sensors/platforms to monitor water changes in intensive time series, establishing models based on ensemble machine learning algorithms, exploring quantitative estimation models of water quality that couple physics and causality, identifying the missing elements in water environment assessments, and developing new governance models to meet the widespread applications of remote sensing of water environment. This review can help provide a potential roadmap and information support for researchers, practitioners, and management departments in the theoretical exploration and innovative application of remote sensing big data for water environment monitoring.

show abstract

Section: Remote Sensing Estimation Methods For Water Qualitymentioning

confidence: 99%

Remote Sensing Big Data for Water Environment Monitoring: Current Status, Challenges, and Future Prospects

Chen

et al. 2022

Earth's Future

101

View full text Add to dashboard Cite

show abstract

“…Ding ve arkadaşları [8] Koçak ve Şiray [16] tarafından yapılan bir çalışmayla bilinen aktivasyon fonksiyonlarının avantajlarını birleştiren ve onlardan daha iyi başarım gösteren bazı yeni aktivasyon fonksiyonları tanıtılmıştır. Bu amaçla, generalized swish, meanswish, ReLU-swish, triple-state swish, sigmoidalgebraic, triple-state sigmoid, exponential swish, sinc-sigmoid olarak adlandırılan ve sigmoid'in türevi olan bazı yeni aktivasyon fonksiyonları önerilmiştir.…”

Section: öNceki çAlışmalarunclassified

Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

KAYTAN

Aydilek

Yeroğlu

et al. 2022

Bitlis Eren Üniversitesi Fen Bilimleri Dergisi

View full text Add to dashboard Cite

ÖzBu makalede daha önce sunulan aktivasyon fonksiyonlarının olumlu yanlarını birleştiren ve onlardan daha iyi başarım sağlayan ve Sigmoid-Gumbel (SG) olarak adlandırılan yeni bir hibrit aktivasyon fonksiyonu önerilmiştir. Önerilen fonksiyonun başarımını değerlendirmek için dört uygulama yapılmıştır. Yapılan uygulamalarda karşılaştırma fonksiyonları olarak Sigmoid, Gumbel, ReLU ve Adaptive Gumbel fonksiyonları kullanılmıştır. Uygulamalarda MLP ve CNN sinir ağı modelleri kullanılmıştır. MLP ağı derin öğrenmede ikili sınıflandırma sınıf dengesizliği problemi için kullanılmıştır. CNN ağı ise derin öğrenmede görüntü sınıflandırma uygulamaları yapmak üzere tercih edilmiştir. Birinci uygulamada, önerilen fonksiyonun etkinliğini göstermek için MLP ağında 25 dengesiz veri kümesi kullanılmıştır. En yüksek AUC ortalamasını 0.9013 değeri ile SG elde etmiştir. İkinci uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak Sigmoid ve Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek ortalama doğruluk değerini 0.9921 ile SG elde etmiştir. Üçüncü uygulamada, önerilen fonksiyonun üç farklı versiyonu karşılaştırılmıştır. Bunun için Fashion-MNIST veri kümesi CNN ağı üzerinde denenmiştir. En yüksek doğruluğu 0.9351 ortalama değeri ile SGv3 elde etmiştir. Dördüncü uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak ReLU ve Adaptive Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek başarım 0.9926 değeri ile SG tarafından elde edilmiştir. Yapılan deney sonuçlarına bakıldığında önerilen aktivasyon fonksiyonunun genel olarak daha başarılı olduğu görülmektedir.

show abstract

“…Additionally, note that even small variations in the architecture of a particular activation function might deliver a better network performance (Koçak and Üstündağ Şiray, 2021). Thus, exact or very close representation of an activation function does not ensure a better network performance.…”

Section: Case Study Bmentioning

confidence: 99%