Medición de alucinaciones y cuantificación de incertidumbre para LLM

Ponente: Pablo Ascorbe Fernández (Grupo PSYCOTRIP, Universidad de La Rioja).

Lugar: Seminario Mirian Andrés (Edificio CCT).

Hora: viernes 10 de abril de 2026, 11:00.

Resumen: Este trabajo surge durante la estancia doctoral realizada en colaboración con la Universidad de París-Saclay, más concretamente, con el LISN (Laboratoire Interdisciplinaire des Sciences du Numérique).

Existen multitud de aproximaciones para evaluar los grandes modelos de lenguaje o LLM, una de estas aproximaciones es la cuantificación de la incertidumbre, donde a través de diferentes técnicas se mide el nivel de alucinaciones o inconsistencia de los modelos. Estas técnicas pueden ser de caja negra, para modelos que no sean de acceso abierto y sea necesario generar varias veces el mismo prompt, o de caja blanca, cuando podamos acceder a las probabilidades internas de los modelos para cada token generado. Además, también se profundizará en una tercera aproximación utilizando proposiciones atómicas como unidades de verdad, validando si cada afirmación o sentencia generada por los modelos coincide con una base de datos cuyo contenido son las proposiciones atómicas extraídas de documentos fiables.

Resultados de la evaluación del chatbot prevenIA

Ponente: Pablo Ascorbe Fernández (Grupo PSYCOTRIP, Universidad de La Rioja)

Lugar: Seminario Mirian Andrés (Edificio CCT).

Hora: jueves 6 de marzo de 2025, 09:10.

Resumen: prevenIA es un chatbot que proporciona información en castellano sobre el suicidio para ayudar a prevenirlo. Debido a la sensibilidad del ámbito de este chatbot, uno de los aspectos claves del desarrollo del mismo es una evaluación exhaustiva que permita comprobar aspectos como su seguridad, fiabilidad, eficiencia y utilidad.

Recientemente, se ha llevado a cabo una evaluación de la herramienta contando con más de 150 personas de 5 ámbitos distintos (informáticos, profesionales de la salud no especializados en salud mental, profesionales de salud mental, voluntarios del teléfono de la esperanza, y otros) y ésta será el objetivo de la charla, junto con las medidas de mejora que se han decidido tomar en base al estudio llevado a cabo.

Evaluación automática y manual de un chatbot para proporcionar información sobre suicidio en castellano

Ponente: Pablo Ascorbe Fernández (Grupo PSYCOTRIP, Universidad de La Rioja)

Lugar: Seminario Mirian Andrés (Edificio CCT).

Hora: viernes 20 de septiembre de 2024, 10:00.

Resumen: Los chatbots tienen un gran potencial en campos delicados como la salud mental, pero para asegurar su correcto funcionamiento es necesaria una evaluación cuidadosa, ya sea por métodos manuales o por métodos automáticos. En este trabajo se presenta una librería para evaluar automáticamente chatbots en castellano de Generación Mejorada por Recuperación (en inglés Retrieval Augmented Generation o RAG) utilizando grandes modelos de lenguaje (en inglés, LLMs). A continuación, se realiza una evaluación exhaustiva de varios modelos candidatos a ser utilizados en un sistema RAG para proporcionar información sobre la prevención del suicidio, utilizando una evaluación manual, una automática basada en métricas y una automática basada en LLMs. Todos los métodos coinciden al escoger el mejor modelo, pero presentan sutiles diferencias. Los métodos automáticos basados en métricas se correlacionan en precisión y exhaustividad con la evaluación humana, pero no en fidelidad; y algunos métodos automáticos basados en LLMs no detectan algunos errores, como respuestas no relacionadas con la pregunta; o pueden pasar por alto respuestas inseguras. Como conclusión, podemos decir que los métodos automáticos pueden reducir el esfuerzo de evaluación manual, no obstante, ésta sigue siendo esencial, sobre todo en contextos sensibles como los relacionados con la salud mental.

Nota: La charla es una prueba de tiempo de la ponencia que presentará Pablo en el XL Congreso Internacional de la Sociedad Española para el Procesamiento del Lenguaje Natural que se celebrará en Valladolid del 24 al 27 de septiembre. Esta charla está relacionada con el proyecto presentado en la primera parte de la sesión.