Sub auditory speech recognition based on EMG signals

Abstract

ResumenPresenta una metodología novedosa para establecer una comunicación silenciosa dual basada en habla subvocal; para ello se desarrollaron dos sistemas electrónicos que registran las señales bioeléctricas que llegan al aparato fonador, generadas al momento de realizar el proceso de lectura silenciosa por el individuo. Estos sistemas están basados en tres etapas fundamentales; la primera es la de adquisición, encargada de extraer, acondicionar, codificar y transmitir las señales electromiográficas del habla subvocal hacia la segunda etapa, denominada de procesamiento; en esta etapa, implementada en un sistema Raspberry Pi, se desarrollaron los procesos de almacenamiento, acondicionamiento, extracción de patrones y clasificación de palabras, utilizando técnicas matemáticas como: Entropía, análisis Wavelet y Máquinas de Soporte Vectorial de Mínimos Cuadrados, implementadas bajo el entorno libre de programación Python; finalmente, la última etapa del sistema se encargó de comunicar inalámbricamente los dos sistemas electrónicos, utilizando 4 clases de señales, para clasificar las palabras hola, intruso, ¿hola cómo estás? y tengo frío.Adicionalmente, en este artículo se muestra la implementación del sistema para el registro de señales de habla subvocal. El porcentaje de acierto promedio general es de 72.5 %. Se incluyen un total de 50 palabras por clase, es decir, 200 señales. Finalmente, se pudo demostrar que usando una Raspberry Pi es posible establecer un sistema de comunicación silenciosa a partir de las señales del habla subvocal.Palabras clave: comunicación silenciosa; entropía; habla subvocal; MSV (Máquinas de Soporte Vectorial); Raspberry Pi; Wavelet. AbstractThis paper presents a novel methodology to develop a silent dual communication based on subvocal speech. Two electronic systems were developed for people's wireless communication. The system has 3 main stages. The first stage is the subvocal speech electromyographic signals acquisition, in charge to extract, condition, encode and transmit the system development. This signals were digitized and registered from the throat and sent to an embedded a raspberry pi.In this device was implemented the processing, as it is called the second stage, which besides to store, assumes conditioning, extraction and pattern classification of subvocal speech signals. Mathematical techniques were used as Entropy, Wavelet analysis, Minimal Squares and Vector Support Machines, which were applied in Python free environment program. Finally, in the last stage in charge to communicate by wireless means, were developed the two electronic systems, by using 4 signal types, to classify the words: Hello, intruder, hello how are you? and I am cold to perform the silent communication.Additionally, in this article we show the speech subvocal signals' recording system realization. The average accuracy percentage was 72.5 %, and includes a total of 50 words by class, this is 200 signals. Finally, it demonstrated that using the Raspberry Pi it is possible to set a silent communication ...

Procesamiento de Señales Provenientes del Habla Subvocal usando Wavelet Packet y Redes Neuronales

“…Las señales EMG fueron adquiridas usando electrodos superficiales de Cloruro de Plata (AgCl) en configuración bipolar (Chuck et al, 2003;Chuck y Kim, 2005), estos fueron ubicados en la parte inferior derecha y superior izquierda bajo la garganta, después de haber limpiado la piel con alcohol isopropílico al 70% para reducir la impedancia de la piel; debido a la baja amplitud que presentan las señales subvocales, las señales EMG fueron amplificadas en un factor de 18700. En el sistema de adquisición y con el fin de disminuir el ruido y atenuar las frecuencias que no hacen parte de la señal EMG, se usó un filtro Butterworth pasa banda de orden 8 conformado por un filtro pasa alta de 30 Hz y un filtro pasa baja [659] de 450 Hz; la información fue grabada con una frecuencia de muestreo de 50 kHz, en vectores de 2 segundos y 50 señales por palabra.…”

“…Además las señales de habla subvocal se presentan sin ser necesaria la producción física de sonido por parte del individuo (Seniam, 2012;Chuck, et al 2003;Chuck y Kim, 2005). En la actualidad, los entornos ruidosos y las patologías fisiológicas son dos de los grandes problemas que ocasionan que la comunicación oral entre individuos sea afectada de manera tal que la información se distorsione o simplemente nunca se genere.…”

“…El habla subvocal expone una respuesta tentativa a estas limitaciones, ya que no depende de la emisión de sonido, sino que hace uso de las señales eléctricas que el cerebro transmite a las cuerdas vocales y a la lengua (Chuck et al, 2003;Chucky y Kin, 2005). Surgen diferentes aplicaciones del concepto de "comunicación silenciosa" como: control de interfaces virtuales, comunicación interpersonal, control de robots, comunicación en entornos industriales, comunicación submarina, intercambio de información militar de alta confidencialidad, comunicación móvil, control de sistemas transporte para personas con problemas motrices, ayuda a personas con patologías de pronunciación y operaciones de rescate.…”

“…Surgen diferentes aplicaciones del concepto de "comunicación silenciosa" como: control de interfaces virtuales, comunicación interpersonal, control de robots, comunicación en entornos industriales, comunicación submarina, intercambio de información militar de alta confidencialidad, comunicación móvil, control de sistemas transporte para personas con problemas motrices, ayuda a personas con patologías de pronunciación y operaciones de rescate. Diferentes estudios sobre las aplicaciones del habla subvocal se han llevado a cabo, entre los más importantes están: (Chuck et al, 2003;Chuck Kim, 2005;Bradley et al, 2005) realizados por el Centro de Investigación Ames de la NASA. Sin embargo, la existencia del habla subvocal ha sido estudiada desde décadas atrás, en 1969 Curtis & Lewis (Curtis et al, 1969) analizaron diversos patrones de subvocalización, registrando las señales mediante EMG de superficie usando electrodos ubicados en lugares opuestos sobre el cartílago tiroides.…”

Automatic Speech Recognition Based on Electromyographic Biosignals

“…the speech was captured in an extremely noisy environment. Jorgensen et al [3] proposed sub-auditory speech recognition using two pairs of EMG electrodes attached to the throat and was the first to demonstrate sub-vocal isolated word recognition using different feature extraction and classification methods [3][4][5]. Manabe et al showed that silent speech recognition is feasible when the EMG is recorded at the skin surface using electrodes pressed to the skin [6,7].…”