Reconocimiento de palabras de la Lengua de Señas Mexicana utilizando información RGB-D

Abstract

La Lengua de Señas es el principal método alternativo de comunicación entre personas con discapacidad en el habla o en la escucha. Sin embargo, la mayoría de la población que no padece esta discapacidad no la comprende. Esto hace que la comunicación de las personas signantes con su entorno social sea casi imposible. En este trabajo se presenta un avance hacia la construcción de un sistema que pueda traducir palabras de la Lengua de Señas Mexicana mediante el reconocimiento de estas a partir de la trayectoria 3D del movimiento de las manos de signantes usando un sensor Kinect. Se construyó un corpus de 53 palabras considerando solo palabras de once campos semánticos. Con el objetivo de eliminar posibles inconsistencias y ruidos en el patrón extraído se usó la adición de puntos intermedios y el algoritmo KNN fue usado para el filtrado. Además, el método descriptor empleado divide el patrón en dos secciones de acuerdo con la cúspide de su trayectoria y mediante la media aritmética se obtienen las posiciones 3D representativas de ambas secciones. Del patrón general, se obtienen también su anchura, altura, profundidad y orientación. Para la clasificación de las palabras del corpus se usa una Red Neuronal Artificial de tipo Perceptrón Multi Capa. Esta red fue entrenada con el algoritmo de Backpropagation y para la validación del sistema reconocedor se realizó utilizando el método K-Fold Cross Validation. El porcentaje de precisión media alcanzado por esta implementación fue del 93.46%.

Towards a Bidirectional Mexican Sign Language–Spanish Translation System: A Deep Learning Approach

“…Their methodology, utilizing phonological parameters and a similarity formula, provides a bridge for learners to grasp the nuances of sign languages, emphasizing the role of educational tools in sign language dissemination. Complementing these efforts, Trujillo et al [20] presented a translation system from Mexican Sign Language to spoken language, employing 3D hand movement trajectories. Their approach to refining movement patterns and using advanced algorithms like KNN highlights the continuous push for higher precision and efficiency in translation systems.…”

Hacia la construcción de una base de datos abierta de la LSM

“…Adicionalmente, existe reconocimiento de vocabulario de la LSM usando Leap Motion Controller (Nájera et al, 2016) y desarrollo de traductores de habla a señas (español a LSM) usando sensores RGBD (Trujillo-Romero y Caballero-Morales, 2012; Caballero-Morales y Trujillo-Romero, 2013) y de señas a habla (LSM a español) (Garcia-Bautista et al, 2016). Trabajos más recientes, permiten el reconocimiento de letras, palabras y frases de la LSM (Trujillo-Romero y García Bautista, 2021;Mejía-Peréz et al, 2022;Trujillo-Romero y García-Bautista, 2023). Trujillo-Romero y García-Bautista han estado desarrollado un traductor automático de la LSM a lo largo de muchos años (Trujillo-Romero y Caballero-Morales, 2012;Garcia-Bautista et al, 2016;García-Bautista et al, 2017;Trujillo-Romero y García Bautista, 2021;Trujillo-Romero y García-Bautista, 2023).…”

“…Trabajos más recientes, permiten el reconocimiento de letras, palabras y frases de la LSM (Trujillo-Romero y García Bautista, 2021;Mejía-Peréz et al, 2022;Trujillo-Romero y García-Bautista, 2023). Trujillo-Romero y García-Bautista han estado desarrollado un traductor automático de la LSM a lo largo de muchos años (Trujillo-Romero y Caballero-Morales, 2012;Garcia-Bautista et al, 2016;García-Bautista et al, 2017;Trujillo-Romero y García Bautista, 2021;Trujillo-Romero y García-Bautista, 2023).…”