Ponente: Mayra Vanessa Alvear Gallón (IR Soluciones, Universidad de La Rioja).
Lugar: Salón de Actos (Edificio CCT).
Hora: miércoles 5 de junio de 2024, 12:00.
Resumen: Todo el mundo necesita poder comunicarse. La comunicación, en el caso de las personas sordas, se centra principalmente en el lenguaje de signos. Cada país tiene su lengua, y el porcentaje de población que la conoce es pequeño. En este trabajo, hemos dado un primer paso para implementar un sistema de reconocimiento de signos para la Lengua de Signos Española (LSE) en tiempo real utilizando una webcam convencional. Para ello, hemos creado un conjunto de datos con imágenes de los signos de las vocales en LSE (signos estáticos). Se han estudiado y evaluado modelos de Deep-Learning, obteniendo que, el modelo ResNet18 con Test Time Augmentation supera a modelos más grandes basados en Transformers, tanto obteniendo mayor accuracy (95% sobre un conjunto de test) como también, siendo el más rápido de entrenar. Además, como estrategia para mejorar el rendimiento del modelo, se implementó un modelo de Ensemble, consiguiendo casi un 96% de accuracy. En particular, se ha usado el modelo ResNet18 para implementar un sistema de reconocimiento de signos de las vocales españolas en tiempo real.
Nota: La charla se trata de una prueba de tiempo de la ponencia que presentará Vanessa en la sesión especial titulada «Intelligent systems and methods for human monitoring in Industry 5.0» del 10th International Conference on Control, Decision and Information Technologies que se celebrará en Valletta, Malta del 1 al 4 de julio.