Web Browser Control Using EMG Based Sub Vocal Speech Recognition

Abstract

Subvocal electromyogram (EMG) signal classification is used to control a modified web browser interface. Recorded surface signals from the larynx and sublingual areas below the jaw are filtered and transformed into features using a complex dual quad tree wavelet transform. Feature sets for six subvocally pronounced control words, 10 digits, 17 vowel phonemes and 23 consonant phonemes are trained using a scaled conjugate gradient neural network. The subvocal signals are classified and used to initiate web browser queries through a matrix based alphabet coding scheme. Hyperlinks on web pages returned by the browser are numbered sequentially and queried using digits only. Classification methodology, accuracy, and feasibility for scale up to real world human machine interface tasks are discussed in the context of vowel and consonant recognition accuracy.

Procesamiento de Señales Provenientes del Habla Subvocal usando Wavelet Packet y Redes Neuronales

“…Los resultados de este trabajo son comparables con los estudios realizados en (Chuck et al, 2003;Chuck Kim, 2005;Bradley et al, 2005), donde obtuvieron tasas de acierto similares. La efectividad del sistema subvocal es baja en relación a los sistemas de reconocimiento de voz, pero a diferencia de estos el sistema subvocal no es afectado por factores de contaminación auditiva o de problemas de pronunciación.…”

“…Surgen diferentes aplicaciones del concepto de "comunicación silenciosa" como: control de interfaces virtuales, comunicación interpersonal, control de robots, comunicación en entornos industriales, comunicación submarina, intercambio de información militar de alta confidencialidad, comunicación móvil, control de sistemas transporte para personas con problemas motrices, ayuda a personas con patologías de pronunciación y operaciones de rescate. Diferentes estudios sobre las aplicaciones del habla subvocal se han llevado a cabo, entre los más importantes están: (Chuck et al, 2003;Chuck Kim, 2005;Bradley et al, 2005) realizados por el Centro de Investigación Ames de la NASA. Sin embargo, la existencia del habla subvocal ha sido estudiada desde décadas atrás, en 1969 Curtis & Lewis (Curtis et al, 1969) analizaron diversos patrones de subvocalización, registrando las señales mediante EMG de superficie usando electrodos ubicados en lugares opuestos sobre el cartílago tiroides.…”

Automatic Speech Recognition Based on Electromyographic Biosignals

“…the speech was captured in an extremely noisy environment. Jorgensen et al [3] proposed sub-auditory speech recognition using two pairs of EMG electrodes attached to the throat and was the first to demonstrate sub-vocal isolated word recognition using different feature extraction and classification methods [3][4][5]. Manabe et al showed that silent speech recognition is feasible when the EMG is recorded at the skin surface using electrodes pressed to the skin [6,7].…”

Ears: Electromyographical Automatic Recognition of Speech

“…Jorgensen et al proposed sub auditory speech recognition using two pairs of EMG electrodes attached to the throat. Sub vocal isolated word recognition was demonstrated with various feature extraction and classification methods (Jorgensen et al, 2003;Jorgensen and Binsted, 2005;Betts and Jorgensen, 2006). Maier-Hein et al reported non-audible EMG speech recognition focusing on speaker and session independency issues.…”