A Temporal Network of Support Vector Machine Classifiers for the Recognition of Visual Speech

Gordan, Mihaela; Kotropoulos, Constantine; Pitas, Ioannis

doi:10.1007/3-540-46014-4_32

Cited by 4 publications

(3 citation statements)

References 11 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…its application to streaming connectivity patterns). While such an implementation of SVMs seems rather unusual in EEG-related research, it has already been successfully employed for continuous speech recognition (for instance [ 63 , 64 ]).…”

Section: Discussionmentioning

confidence: 99%

Exploiting the heightened phase synchrony in patients with neuromuscular disease for the establishment of efficient motor imagery BCIs

Georgiadis

Laskaris²,

Nikolopoulos

et al. 2018

J NeuroEngineering Rehabil

View full text Add to dashboard Cite

BackgroundPhase synchrony has extensively been studied for understanding neural coordination in health and disease. There are a few studies concerning the implications in the context of BCIs, but its potential for establishing a communication channel in patients suffering from neuromuscular disorders remains totally unexplored. We investigate, here, this possibility by estimating the time-resolved phase connectivity patterns induced during a motor imagery (MI) task and adopting a supervised learning scheme to recover the subject’s intention from the streaming data.MethodsElectroencephalographic activity from six patients suffering from neuromuscular disease (NMD) and six healthy individuals was recorded during two randomly alternating, externally cued, MI tasks (clenching either left or right fist) and a rest condition. The metric of Phase locking value (PLV) was used to describe the functional coupling between all recording sites. The functional connectivity patterns and the associate network organization was first compared between the two cohorts. Next, working at the level of individual patients, we trained support vector machines (SVMs) to discriminate between “left” and “right” based on different instantiations of connectivity patterns (depending on the encountered brain rhythm and the temporal interval). Finally, we designed and realized a novel brain decoding scheme that could interpret the intention from streaming connectivity patterns, based on an ensemble of SVMs.ResultsThe group-level analysis revealed increased phase synchrony and richer network organization in patients. This trend was also seen in the performance of the employed classifiers. Time-resolved connectivity led to superior performance, with distinct SVMs acting as local experts, specialized in the patterning emerged within specific temporal windows (defined with respect to the external trigger). This empirical finding was further exploited in implementing a decoding scheme that can be activated without the need of the precise timing of a trigger.ConclusionThe increased phase synchrony in NMD patients can turn to a valuable tool for MI decoding. Considering the fast implementation for the PLV pattern computation in multichannel signals, we can envision the development of efficient personalized BCI systems in assistance of these patients.Electronic supplementary materialThe online version of this article (10.1186/s12984-018-0431-6) contains supplementary material, which is available to authorized users.

show abstract

Section: Discussionmentioning

confidence: 99%

Exploiting the heightened phase synchrony in patients with neuromuscular disease for the establishment of efficient motor imagery BCIs

Georgiadis

Laskaris²,

Nikolopoulos

et al. 2018

J NeuroEngineering Rehabil

View full text Add to dashboard Cite

show abstract

“…Hidden Markov Models (HMM) have been widely used to capture sequentiality of the data by uncovering the underlying event structures [7]. The decision making level techniques include smoothing filters such as moving average or median filters, or more sophisticated Viterbi temporal decoding [8] which incorporates the contextual information before making the final decision.…”

Section: Introductionmentioning

confidence: 99%

Dynamic time warping based neonatal seizure detection system

Ahmed

Temko

Marnane

et al. 2012

2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society

View full text Add to dashboard Cite

Neonatal seizures patterns evolve with changing frequency, morphology and propagation. This study is an initial attempt to incorporate the characteristics of temporal evolution of neonatal seizures into our developed neonatal seizure detector. The previously designed SVM-based neonatal seizure detector is modified by substituting the Gaussian kernel with the Gaussian dynamic time warping kernel, to enable the SVM to classify variable length sequences of feature vectors of neonatal seizures. The preliminary results obtained compare favorably with the conventional SVM. The fusion of the two approaches is expected to improve the current state of the art neonatal seizure detection system.

show abstract

Section: Summary and Outlook 10 Discussionmentioning

confidence: 99%

Representation learning schemes of multichannel encephalographic signals for Brain Computer Interfaces

Γεωργιάδης¹

View full text Add to dashboard Cite

Οι Διεπαφές Εγκεφάλου Υπολογιστή (ΔΕΥ) προσφέρουν εναλλακτικά «κανάλια» επικοινωνίας μεταξύ του ανθρώπινου εγκεφάλου και μίας ηλεκτρονικής συσκευής. Η αποκωδικοποίηση της εγκεφαλικής δραστηριότητας και η μετατροπή της σε εντολές μηχανής ολοκληρώνει ένα κλειστό σύστημα, το οποίο μπορεί να λειτουργήσει χωρίς φυσική αλληλεπίδραση. Ο Berger ήταν ο πρώτος που διατύπωσε τη θεωρία της «ανάγνωσης του μυαλού», αλλά η υλοποίηση ενός ολοκληρωμένου συστήματος ΔΕΥ κατέστη δυνατή μόνο τα τελευταία χρόνια. Λόγω του σχεδιασμού τους, οι ΔΕΥ θεωρούνται ιδανικά συστήματα υποστήριξης ατόμων που πάσχουν από κινητική αναπηρία και ως εκ τούτου λαμβάνουν συνεχώς αυξανόμενη προσοχή. Η υλοποίηση μίας ΔΕΥ μπορεί να γίνει μέσω διαφορετικών προσεγγίσεων, ωστόσο το Ηλεκτροεγκεφαλογράφημα (ΗΕΓ) θεωρείται η πιο δημοφιλής επιλογή. Αυτό συμβαίνει κυρίως λόγω του μη επεμβατικού χαρακτήρα του ΗΕΓ ενώ συνεπικουρικά στοιχεία είναι το χαμηλό κόστος, η εύκολη προσάρτηση και η εύκολη ενσωμάτωσή του στην καθημερινότητα των χρηστών. Στα πλαίσια αυτής της διδακτορικής διατριβής μελετήθηκαν δύο διαφορετικού τύπου ΔΕΥ τα οποία βασίζονται σε μετρήσεις ΗΕΓ και πιο συγκεκριμένα στην κατηγορία διεπαφών μέσω Προκλητών Δυναμικών Σταθερής Κατάστασης (Steady State Visual Evoked Potentials; SSVEP) και σε αυτή που σχετίζεται με τη Νοερή Κίνηση (Motor Imagery; MI) των άκρων. Στόχος αυτής της διδακτορικής διατριβής είναι ο σχεδιασμός και η υλοποίηση πρωτοκόλλων ανάλυσης σημάτων ΗΕΓ μέσω των οποίων θα γίνεται η αποκωδικοποίηση των προθέσεων/επιλογών των χρηστών. Οι υλοποιήσεις θα πρέπει να χαρακτηρίζονται από γρήγορες και εύρωστες αποκρίσεις, χαρακτηριστικά τα οποία κρίνονται ζωτικής σημασίας για οποιαδήποτε υλοποίηση ΔΕΥ. Υπό αυτό το πρίσμα η πρώτη κατηγορία που εξετάσθηκε ήταν αυτή των Προκλητών Δυναμικών Σταθερής Κατάστασης, με στόχο τη δημιουργία ενός καινοφανούς συστήματος αποκρυπτογράφησης. Το συγκεκριμένο σύστημα βασίστηκε στις έννοιες του διακριτού κβαντισμού διανυσμάτων αλλά και της κατηγοριοποίησης μέσω του κανόνα πλησιέστερου προτύπου. Το παραπάνω σύστημα σχεδιάστηκε με στόχο την αποφυγή ψευδώς θετικών αποκρίσεων καθώς κάθε πρόβλεψη συνοδευόταν από ένα σκορ εμπιστοσύνης το οποίο υποδείκνυε την ενεργοποίηση ή μη της απόφασης. Στη συνέχεια, ασχοληθήκαμε με την κατηγορία των ΔΕΥ που σχετίζεται με τη Νοερή Κίνηση των άκρων. Η μετάβαση αυτή, προκρίθηκε κυρίως λόγω της αδυναμίας των συστημάτων Προκλητών Δυναμικών Σταθερής Κατάστασης να χρησιμοποιούνται από τους χρήστες αυτόνομα και κατόπιν δικής τους πρόθεσης. Αρχικά, εστιάσαμε στα δεδομένα τα οποία συλλέξαμε από άτομα με Νευρομυϊκές παθήσεις και από αντίστοιχου μεγέθους δείγματος ελέγχου. Η ανάλυση βασίστηκε σε έννοιες αυτό-οργάνωσης πολύπλοκων δικτύων με στόχο την αναγνώριση διαφορών μεταξύ των πληθυσμών. Οι σημαντικές διαφορές που παρατηρήθηκαν στο συγχρονισμό φάσης (PLV) αλλά και στις ιδιότητες του εγκεφαλικού δικτύου (π.χ. Global/Local Efficiency), μπορούν να αποδοθούν στην πάθηση και στον τρόπο με τον οποίο αναδιοργανώνεται ο εγκέφαλος όσο αυτή εξελίσσεται. Σε δεύτερη φάση, έχοντας διαπιστώσει την καταλληλότητα της χρήσης του συγχρονισμού φάσης για την αναγνώριση της νοερής κίνησης σχεδιάσαμε ένα αλγοριθμικό πλαίσιο αποτελούμενο από μια αλληλουχία ταξινομητών το οποίο μπορεί να εντοπίζει την έναρξη της δραστηριότητας που σχετίζεται με την εκτελούμενη νοερή κίνηση. Έπειτα, εξετάσαμε την επεξεργασία σήματος σε επίπεδο γράφων, και πιο συγκεκριμένα το μετασχηματισμό Fourier σε επίπεδο γράφων, με σκοπό την αξιοποίησή του στην ανάλυση ΗΕΓ σήματος κατά την πραγματοποίηση διεργασιών Νοερής Κίνησης. Η πρώτη προσέγγιση αφορούσε τη χρήση της λειτουργικής συνδεσιμότητας στο σχεδιασμό του γράφου. Η δεύτερη προσέγγιση αφορούσε το σχεδιασμό ενός πολύ-επίπεδου γράφου, όπου κάθε επίπεδο αντιστοιχούσε σε δραστηριότητα από διαφορετικό εγκεφαλικό ρυθμό (δηλ. συχνοτικό περιεχόμενο), ενώ η συνδεσιμότητα των κόμβων αντιπροσώπευε τις αλληλεπιδράσεις μεταξύ των διαφορετικών ρυθμών. Η τρίτη προσέγγιση βασιζόταν στην τεχνική των Graph Slepian συναρτήσεων, οι οποίες υλοποιούν περιορισμούς τόσο σε επίπεδο γράφου όσο και σε επίπεδο φάσματος του γράφου. Τέλος, χρησιμοποιήσαμε έναν αλγόριθμο κατηγοριοποίησης ο οποίος δρα σε πίνακες συνδιακύμανσης και μπορεί να εντοπίσει τους αισθητήρες εκείνους οι οποίοι παρουσιάζουν τη μέγιστη διακριτική ικανότητα, ορίζοντας κατά αυτόν τον τρόπο το πιο συνεκτικό υπο-δίκτυο. Έχοντας εντοπίσει το συγκεκριμένο υπο-δίκτυο, οι αναπαραστάσεις των (περιορισμένων) πινάκων συνδιακύμανσης των MI δεδομένων γίνονται σε Ριμάνεια επιφάνεια, ενώ η κατηγοριοποίηση τους γίνεται με τη χρήση Μηχανών Διανυσμάτων Υποστήριξης (Support Vector Machines; SVMs).

show abstract

A Temporal Network of Support Vector Machine Classifiers for the Recognition of Visual Speech

Cited by 4 publications

References 11 publications

Exploiting the heightened phase synchrony in patients with neuromuscular disease for the establishment of efficient motor imagery BCIs

Exploiting the heightened phase synchrony in patients with neuromuscular disease for the establishment of efficient motor imagery BCIs

Dynamic time warping based neonatal seizure detection system

Representation learning schemes of multichannel encephalographic signals for Brain Computer Interfaces

Contact Info

Product

Resources

About