Synaptic and neuromorphic functions: general discussion

Berg, Alexandra I.; Brivio, Stefano; Brown, S. A.; Burr, Geoffrey W.; Deswal, Sweety; Deuermeier, Jonas; Gale, Ella; Hwang, Hyunsang; Ielmini, Daniele; Indiveri, Giacomo; Kenyon, AJ; Koymen, Itir; Kozicki, Michael; Li, Yang; Mannion, Daniel J.; Prodromakis, Themis; Ricciardi, Carlo; Siegel, Sebastian; Speckbacher, Maximilian; Valov, Ilia; Wang, Wei; Williams, R. Stanley; Wouters, Dirk J.; Yang, Yuchao

doi:10.1039/c8fd90065e

Cited by 3 publications

(3 citation statements)

References 2 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…This result has been extended, as a supposedly natural consequence, as holding true for SNNs. However, few recent works from the present authors (La Barbera et al, 2018; Brivio et al, 2019a) have given indications that non-linear synapses can perform better than linear ones for SNNs, which resulted in an interesting debate (Berg et al, 2019). In the present work, we put on firmer and quantitative basis the role of non-linearity on the performances of unsupervised and STDP-based SNNs.…”

Section: Discussionmentioning

confidence: 77%

Non-linear Memristive Synaptic Dynamics for Efficient Unsupervised Learning in Spiking Neural Networks

Brivio

Vianello

et al. 2021

Front. Neurosci.

Self Cite

View full text Add to dashboard Cite

Spiking neural networks (SNNs) are a computational tool in which the information is coded into spikes, as in some parts of the brain, differently from conventional neural networks (NNs) that compute over real-numbers. Therefore, SNNs can implement intelligent information extraction in real-time at the edge of data acquisition and correspond to a complementary solution to conventional NNs working for cloud-computing. Both NN classes face hardware constraints due to limited computing parallelism and separation of logic and memory. Emerging memory devices, like resistive switching memories, phase change memories, or memristive devices in general are strong candidates to remove these hurdles for NN applications. The well-established training procedures of conventional NNs helped in defining the desiderata for memristive device dynamics implementing synaptic units. The generally agreed requirements are a linear evolution of memristive conductance upon stimulation with train of identical pulses and a symmetric conductance change for conductance increase and decrease. Conversely, little work has been done to understand the main properties of memristive devices supporting efficient SNN operation. The reason lies in the lack of a background theory for their training. As a consequence, requirements for NNs have been taken as a reference to develop memristive devices for SNNs. In the present work, we show that, for efficient CMOS/memristive SNNs, the requirements for synaptic memristive dynamics are very different from the needs of a conventional NN. System-level simulations of a SNN trained to classify hand-written digit images through a spike timing dependent plasticity protocol are performed considering various linear and non-linear plausible synaptic memristive dynamics. We consider memristive dynamics bounded by artificial hard conductance values and limited by the natural dynamics evolution toward asymptotic values (soft-boundaries). We quantitatively analyze the impact of resolution and non-linearity properties of the synapses on the network training and classification performance. Finally, we demonstrate that the non-linear synapses with hard boundary values enable higher classification performance and realize the best trade-off between classification accuracy and required training time. With reference to the obtained results, we discuss how memristive devices with non-linear dynamics constitute a technologically convenient solution for the development of on-line SNN training.

show abstract

Section: Discussionmentioning

confidence: 77%

Non-linear Memristive Synaptic Dynamics for Efficient Unsupervised Learning in Spiking Neural Networks

Brivio

Vianello

et al. 2021

Front. Neurosci.

Self Cite

View full text Add to dashboard Cite

show abstract

“…The expression ‘neuromorphic computing’ is a roof under which are gathered several hardware and software approaches aiming at overcoming the difficulties of digital computers to respond to the continuously increasing demand for complex data processing at low energetic cost 1 – 8 . This ambitious objective can be summarized in the reproduction of the mammalian brain capabilities of rapidly integrating information from many different sources 9 .…”

Section: Introductionmentioning

confidence: 99%

Dynamical stochastic simulation of complex electrical behavior in neuromorphic networks of metallic nanojunctions

Mambretti

Mirigliano

Tentori

et al. 2022

Sci Rep

View full text Add to dashboard Cite

Nanostructured Au films fabricated by the assembling of nanoparticles produced in the gas phase have shown properties suitable for neuromorphic computing applications: they are characterized by a non-linear and non-local electrical behavior, featuring switches of the electric resistance whose activation is typically triggered by an applied voltage over a certain threshold. These systems can be considered as complex networks of metallic nanojunctions where thermal effects at the nanoscale cause the continuous rearrangement of regions with low and high electrical resistance. In order to gain a deeper understanding of the electrical properties of this nano granular system, we developed a model based on a large three dimensional regular resistor network with non-linear conduction mechanisms and stochastic updates of conductances. Remarkably, by increasing enough the number of nodes in the network, the features experimentally observed in the electrical conduction properties of nanostructured gold films are qualitatively reproduced in the dynamical behavior of the system. In the activated non-linear conduction regime, our model reproduces also the growing trend, as a function of the subsystem size, of quantities like Mutual and Integrated Information, which have been extracted from the experimental resistance series data via an information theoretic analysis. This indicates that nanostructured Au films (and our model) possess a certain degree of activated interconnection among different areas which, in principle, could be exploited for neuromorphic computing applications.

show abstract

“…Την επόμενη μέρα βλέπει μια τίγρη και αυτό είναι, επίσης, ένα γατάκι. Χρειάζεται μόνο ένα παράδειγμα για να μάθει και μπορεί να γενικεύσει έπειτα από αυτό, πράγμα που αποτελεί έναν εξαιρετικά σημαντικό τρόπο μάθησης [107].…”

Section: επίδραση πυκνότητας νανοκρυστάλλων Ptunclassified

Ηλεκτρονικές Διατάξεις Νανοσωματιδίων

Sakellaropoulos¹,

Σακελλαρόπουλος²

View full text Add to dashboard Cite

Τα τελευταία χρόνια έχει καταστεί σαφής η ανάγκη ανάδειξης νέων υπολογιστικών αρχιτεκτονικών πέραν της καθιερωμένης von Neumann αρχιτεκτονικής κυρίως λόγω του μεγάλου όγκου νέων δεδομένων που απαιτείται να αναλυθούν και επεξεργαστούν σε σύντομο χρονικό διάστημα. Προς αυτή την κατεύθυνση οι υλοποιήσεις νευρομορφικών υπολογιστικών συστημάτων φαίνεται πως προσφέρουν αυξημένη απόδοση και ακρίβεια στους υπολογισμούς. Τέτοιες υλοποιήσεις που χρησιμοποιούν μνήμες εναλλαγής αντίστασης (ReRAM) ως το συνδετικό κρίκο με τα βιολογικά ισοδύναμα στοιχεία (συνάψεις/νευρώνες) έχουν αποτελέσει αντικείμενο ενδελεχούς έρευνας τα τελευταία χρόνια. Οι εν λόγω διατάξεις φαίνεται πως, πέραν της απροβλημάτιστης συμβατότητάς τους με τις CMOS τεχνικές, έχουν τη δυνατότητα και να λειτουργούν απλά ως μη-πτητικές μνήμες και να αποθηκεύουν πολλαπλά bit πληροφορίας, αλλά και να συγκροτούν τα μέσα υλοποίησης τεχνικών μηχανικής μάθησης σε νευρομορφικές διατάξεις. Η εν λόγω τεχνολογία μνήμης, που αποτέλεσε και το αντικείμενο έρευνας της συγκεκριμένης διατριβής, μπορεί και μιμείται βάσει της διαδικασίας ανάπτυξης και ρήξης του αγώγιμου δρόμου τον τρόπο με τον οποίο γίνονται και οι μεταβολές της συναπτικής ισχύος στις βιολογικές συνάψεις. Έχοντας, λοιπόν, αυτό ως κύριο μέλημα, εγείρεται πληθώρα ζητημάτων, όπως η στοχαστικότητα του φαινομένου εναλλαγής και η στατιστική διακύμανση των αποτελεσμάτων, η χαμηλή κατανάλωση ισχύος και η μεγιστοποίηση του παραθύρου μνήμης. Καταλαβαίνει κανείς πως σε μία υψηλής πυκνότητας νευρομορφική υλοποίηση τέτοια ζητήματα, ειδικά ισχύος, είναι ζωτικής σημασίας. Προς αυτή την κατεύθυνση και διερευνώντας και τις δύο υποκατηγορίες των ReRAM, δηλαδή τις μνήμες αλλαγής σθένους (VCM) και αγώγιμης γέφυρας (CBRAM), έγινε προσπάθεια βελτιστοποίησης της λειτουργίας των νανοδιατάξεων μνήμης ώστε να μπορούν να χρησιμοποιηθούν απρόσκοπτα σε πυκνές crossbar δομές.Χρησιμοποιήθηκε ποικιλία υλικών για να διερευνηθεί η επίδραση των πολύπλοκων παραμέτρων εναπόθεσης στην ηλεκτρική απόδοση των νανοδιατάξεων μνήμης, εστιάζοντας κυρίως στο οξείδιο του τιτανίου (TiOx), το οξείδιο του αφνίου (HfOx), το οξείδιο του ταντάλου (TaOx) και το διοξείδιο του πυριτίου (SiO2). Η χρήση πολλαπλών στρωμάτων ενεργού υλικού μέσα σε μια διάταξη VCM διερευνήθηκε ως τρόπος επίτευξης όχι μόνο χαμηλής στατιστικής διακύμανσης και μείωσης των ρευμάτων λειτουργίας, αλλά και ενίσχυσης των συναπτικών ιδιοτήτων. Αυτό επιτυγχάνεται με εναπόθεση διηλεκτρικών στρωμάτων χαμηλής, αλλά και υψηλής, περιεκτικότητας σε οξυγόνο, με τα πρώτα να ενεργούν ως αντιστάσεις σειράς και να μειώνουν την καταναλισκόμενη ισχύ. Κατά συνέπεια, το φαινόμενο εναλλαγής αντίστασης περιορίζεται σε μικρότερο όγκο οξειδίου εναλλαγής, δηλαδή το στρώμα με την υψηλότερη συγκέντρωση οξυγόνου, βελτιώνοντας, συνεπώς, τη στατιστική διακύμανση. Επιπλέον, με την ενσωμάτωση μεταλλικών νανοκρυστάλλων (NCs) εντός της διηλεκτρικής μήτρας καθίσταται δυνατή η τοπική ενίσχυση του ηλεκτρικού πεδίου, αυξάνοντας έτσι την δυνατή διάμετρο ενός αγώγιμου δρόμου (CF). Αυτό με τη σειρά του μπορεί να οδηγήσει σε μεγαλύτερα παράθυρα μνήμης, ακόμη και υπό συνθήκες χαμηλής πόλωσης. Η ενίσχυση του ηλεκτρικού πεδίου είναι, επίσης, ένας βασικός παράγοντας περιορισμού των πιθανών δρόμων διήθησης, όπου λαμβάνει χώρα το φαινόμενο εναλλαγής αντίστασης.Η χρήση του SiO2 ως στρώμα εναλλαγής σε διατάξεις CBRAM ανέδειξε πληθώρα ιδιοτήτων και από άποψη λειτουργίας μνήμης, αλλά και από συναπτικής απόψεως. Απαιτούνται πολύ μικρές τάσεις σάρωσης (< 500 mV) για εμφάνιση του φαινομένου εναλλαγής με αρκετά μεγάλα παράθυρα μνήμης και καμία ανάγκη ηλεκτροδιαμόρφωσης της διάταξης. Στη σύγκριση μεταξύ των δύο ηλεκτροχημικά ενεργών Ag και Cu άνω ηλεκτροδίων φάνηκε πως η διαφορά στο σημείο τήξης των σχηματισμένων νανοσυστάδων μεταλλικών ιόντων που απαρτίζουν το CF αποτελεί τη βάση του φαινομένου εναλλαγής κατωφλίου (threshold switching). Η φύση της διάχυσης των μετακινούμενων ιόντων και η δυναμική του σχηματισμού/ρήξης του CF ανέδειξε την ικανότητα διαμόρφωσης της αγωγιμότητας της διάταξης υπό διέγερση με παλμούς ίδιας πολικότητας, αλλά διαφορετικού ύψους. Η είσοδος νανοκρυστάλλων Ag/Cu ακριβώς κάτω από το πάνω ηλεκτρόδιο Ag/Cu έδειξε πως περιορίζει κάπως τη μετακίνηση των μεταλλικών ιόντων στον ενδιάμεσο χώρο μεταξύ των NCs με αποτέλεσμα την ανάγκη για μεγαλύτερες τάσεις μετάβασης και σάρωσης. Επιπροσθέτως, όντας το ίδιο ηλεκτροχημικά ενεργό υλικό με το άνω ηλεκτρόδιο είναι λογικό μετά από κάποιους κύκλους σάρωσης να παρατηρείται κάποια διακύμανση στα αποτελέσματα. Επιπλέον, η εισαγωγή Pt NCs βελτίωσε περαιτέρω τη στατιστική διακύμανση και περιόρισε χωρικά την τυχαία εξέλιξη των CFs καθιστώντας ταυτόχρονα δυνατή τη ρύθμιση της διαμέτρου του CF. Μέσα από αυτήν την έρευνα παρουσιάστηκαν δυνατότητες επίτευξης πολλαπλών σταθμών αντίστασης (multibit) χαμηλής ισχύος, και παράλληλα πιο απότομες μεταβάσεις λόγω του χωρικού περιορισμού της εξέλιξης του CF, αναδεικνύοντας την διαφορετική δυναμική εξέλιξης των νανονημάτων αργύρου υπό την παρουσία μεταλλικών NCs και τον ευεργετικό αντίκτυπό του στη λειτουργία της διάταξης.Η διεξοδική διερεύνηση της συναπτικής απόδοσης σε όλες περιπτώσεις έδειξε πως η αξιοποίηση των εν λόγω διατάξεων μνήμης σε νευρομορφικές υλοποιήσεις υψηλής πυκνότητας έχει μεγάλες προοπτικές. Οι προτεινόμενες βελτιστοποιήσεις της εν λόγω διατριβής δύναται να οδηγήσουν σε υψηλής απόδοσης νευρωνικά δίκτυα αξιοποιώντας παράλληλα την πληθώρα συναπτικών ιδιοτήτων που επιδεικνύουν οι συγκεκριμένες διατάξεις, αλλά και την εξαιρετικά χαμηλή κατανάλωση ισχύος ανά συναπτικό γεγονός που παρατηρήθηκε.

show abstract

Synaptic and neuromorphic functions: general discussion

Cited by 3 publications

References 2 publications

Non-linear Memristive Synaptic Dynamics for Efficient Unsupervised Learning in Spiking Neural Networks

Non-linear Memristive Synaptic Dynamics for Efficient Unsupervised Learning in Spiking Neural Networks

Dynamical stochastic simulation of complex electrical behavior in neuromorphic networks of metallic nanojunctions

Ηλεκτρονικές Διατάξεις Νανοσωματιδίων

Contact Info

Product

Resources

About