LSM static signs recognition using image processing

Perez, Luis; Rosales, Alberto; Gallegos, Francisco; Barba, Ana V.

doi:10.1109/iceee.2017.8108885

Cited by 8 publications

(4 citation statements)

References 3 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…El aporte del sistema construido en comparación con los que se presentaron en el marco teórico (Bantupalli y Xie, 2018;Dilo con Señas, 2016;Jiménez et al, 2017;Pérez et al, 2017;Sign'n -Inicio, 2019; Signamy -Apps en Google Play, 2019) es que toma en cuenta dos aspectos: enseñar las señas para que el niño se comunique y evaluar cómo las está haciendo. Además, en ambos procesos se integran los tres canales de comunicación (el visual, el auditivo y el kinestésico) con la finalidad de que se obtenga un aprendizaje más personalizado, a diferencia de los presentados por Bantupalli y Xie (2018), Pérez et al…”

Section: Discussionunclassified

“…En años recientes, se han desarrollado sistemas para el reconocimiento de los signos de la lengua de señas y la enseñanza de estos. En cuanto al reconocimiento de los signos, los sistemas basados en visión son los más utilizados, ya que emplean clasificadores para procesar imágenes y encontrar en ellas características clave a fin de reconocer los gestos (Bantupalli y Xie, 2018;Pérez et al, 2017, Jiménez et al, 2017, y también ha sido posible analizar movimientos que involucran alguna trayectoria (Yan et al, 2019). Asimismo, empleando el dispositivo Kinect, se han podido reconocer frases del lenguaje de señas (García-Bautista et al, 2017), mientras que otras alternativas incluyen el uso de un guante especial para traducir el lenguaje de señas a texto (Ocampo et al, 2020) o sensores integrados en objetos portátiles o directamente en el cuerpo para clasificar los signos (Kudrinko et al, 2021).…”

Section: Estado Del Arteunclassified

See 1 more Smart Citation

La lengua de señas: una alternativa para mitigar los contagios de Covid-19 en niños de primaria

Ruiz Ledesma,

Chavarría Báez

2023

RIDE

View full text Add to dashboard Cite

La lengua de señas, al permitir la comunicación de forma no verbal, puede ayudar a reducir el riesgo de contagio por covid-19 entre alumnos y profesores dentro de las aulas. Desafortunadamente, ellos no están familiarizados con su uso y aunque existen sistemas de software que ayudan a aprenderlo, su principal inconveniente es que no evalúan si la ejecución de la seña es correcta o no. Por lo tanto, el problema que se aborda en este trabajo es la falta de sistemas de software que permitan, por un lado, instruir a los niños de educación primaria sin discapacidad auditiva o del habla sobre las nociones básicas de la lengua de señas mexicana (LSM) tomando en cuenta su estilo de aprendizaje y, por otro, evaluar qué tan bien están realizando las señas que han aprendido. Para ello, se desarrolló un sistema de software, tanto web como móvil, que satisface ambas necesidades, es decir, instruye, considerando el estilo de aprendizaje, y evalúa, mediante el reconocimiento de la imagen de la seña realizada por el infante. La valoración hecha por un conjunto de niños mostró que es factible usar este sistema para apoyar la instrucción y evaluación de las señas del alfabeto y los números del LSM, con las cuales es posible formar cualquier palabra/cifra, por lo que esta propuesta se constituye como una alternativa para mitigar los contagios de covid-19 en niños de primaria.

show abstract

Section: Discussionunclassified

Section: Estado Del Arteunclassified

La lengua de señas: una alternativa para mitigar los contagios de Covid-19 en niños de primaria

Ruiz Ledesma,

Chavarría Báez

2023

RIDE

View full text Add to dashboard Cite

show abstract

“…However, this sensor-based work has been limited to hand processing. Last decades, researchers were again focused on RGB cameras to collect the hand skeleton information of the hand gesture and hand signs [4,32,[47][48][49][50][51]. Many researchers have developed camera data-based hand gesture recognition using conventional machine learning algorithms.…”

Section: Related Workmentioning

confidence: 99%

Spatial–temporal attention with graph and general neural network-based sign language recognition

Miah,

Hasan,

Okuyama

et al. 2024

Pattern Anal Applic

View full text Add to dashboard Cite

Automatic Sign Language Recognition (SLR) stands as a vital aspect within the realms of Human-Computer Interaction (HCI) and computer vision, facilitating the conversion of hand signs-utilized by individuals with significant hearing and speech impairments-into equivalent text or voice. Researchers have recently used hand skeleton joint information instead of the image pixel due to light illumination and complex background-bound problems. However, besides the hand information, body motion and facial gestures play an essential role in expressing sign language emotion. Also, a few researchers have been working to develop an SLR system by taking a multi-gesture dataset, but their performance accuracy and time complexity are not sufficient. In light of these limitations, we introduce a Spatial and Temporal Attention Model amalgamated with a General Neural Network designed for the SLR system. The main idea of our architecture is first to construct a fully connected graph to project the skeleton information. We employ self-attention mechanisms to extract insights from node Article Title and edge features across spatial and temporal domains. Our architecture bifurcates into three branches: a graph-based spatial branch, a graph-based temporal branch, and a general neural network branch, which collectively synergize to contribute to the final feature integration. Specifically, the spatial branch discerns spatial dependencies, while the temporal branch amplifies temporal dependencies embedded within the sequential hand skeleton data. Further, the general neural network branch enhances the architecture's generalization capabilities, bolstering its robustness. In our evaluation, utilizing the Mexican Sign Language(MSL), Pakistani Sign Langauge(PSL) datasets and American Sign Langauge Large Video Dataset(ASSLVD) -which comprises 3D joint coordinates for face, body, and hands that conducted experiments on individual gestures and their combinations. Impressively, our model demonstrated notable efficacy, achieving an accuracy rate of 99.96% for the MSL dataset, 92.00% for PSL, and 26.00% for the ASLLVD dataset, which includes 2745 classes. These exemplary performance metrics, coupled with the model's computationally efficient profile, underscore its preeminence compared to contemporaneous methodologies in the field.

show abstract

“…Ejemplos de trabajos donde se realiza el reconocimiento alfanumérico del LS se tiene el desarrollado por Jiménez et al (2017), quienes usaron características de tipo Harr 3D aplicado en la LSM. Por su parte Pérez et al (2017) emplearon Momentos de Hu y Lógica difusa para generar un sistema que fuera capaz de reconocer los símbolos estáticos de la LSM. Otro trabajo sobre el reconocimiento de símbolos estáticos lo realizó Carmona-Arrollo et al (2021), solo que ellos usaron las características invariantes de momentos afines en 3D, como la pose, la posición y la forma entre las manos de los signantes para realizar el reconocimiento.…”

Section: C2-4unclassified

Reconocimiento de palabras de la Lengua de Señas Mexicana utilizando información RGB-D

Trujillo-Romero

Bautista²

2021

recibe

View full text Add to dashboard Cite

La Lengua de Señas es el principal método alternativo de comunicación entre personas con discapacidad en el habla o en la escucha. Sin embargo, la mayoría de la población que no padece esta discapacidad no la comprende. Esto hace que la comunicación de las personas signantes con su entorno social sea casi imposible. En este trabajo se presenta un avance hacia la construcción de un sistema que pueda traducir palabras de la Lengua de Señas Mexicana mediante el reconocimiento de estas a partir de la trayectoria 3D del movimiento de las manos de signantes usando un sensor Kinect. Se construyó un corpus de 53 palabras considerando solo palabras de once campos semánticos. Con el objetivo de eliminar posibles inconsistencias y ruidos en el patrón extraído se usó la adición de puntos intermedios y el algoritmo KNN fue usado para el filtrado. Además, el método descriptor empleado divide el patrón en dos secciones de acuerdo con la cúspide de su trayectoria y mediante la media aritmética se obtienen las posiciones 3D representativas de ambas secciones. Del patrón general, se obtienen también su anchura, altura, profundidad y orientación. Para la clasificación de las palabras del corpus se usa una Red Neuronal Artificial de tipo Perceptrón Multi Capa. Esta red fue entrenada con el algoritmo de Backpropagation y para la validación del sistema reconocedor se realizó utilizando el método K-Fold Cross Validation. El porcentaje de precisión media alcanzado por esta implementación fue del 93.46%.

show abstract

LSM static signs recognition using image processing

Cited by 8 publications

References 3 publications

La lengua de señas: una alternativa para mitigar los contagios de Covid-19 en niños de primaria

La lengua de señas: una alternativa para mitigar los contagios de Covid-19 en niños de primaria

Spatial–temporal attention with graph and general neural network-based sign language recognition

Reconocimiento de palabras de la Lengua de Señas Mexicana utilizando información RGB-D

Contact Info

Product

Resources

About