Métodos para mejorar la seguridad de las respuestas en un chatbot que proporciona información sobre suicidio en castellano

Ponente: César Domínguez Pérez (Grupo PSYCOTRIP, Universidad de La Rioja).

Lugar: Seminario Mirian Andrés (Edificio CCT).

Hora: viernes 19 de septiembre de 2025, 10:00.

Resumen:  Los chatbots tienen un gran potencial para proporcionar información valiosa en campos sensibles como la salud mental. Sin embargo, garantizar la fiabilidad y la seguridad de estos sistemas es fundamental y representa un paso crucial antes del despliegue de los chatbots. En esta charla, presentamos nuestro trabajo orientado a mejorar la seguridad de un chatbot en español basado en el modelo Retrieval-Augmented Generation (RAG) y diseñado para ofrecer información sobre el suicidio. A través de un proceso de validación en múltiples etapas, identificamos y clasificamos las respuestas inseguras del chatbot utilizando modelos de clasificación de red-teaming y mediante una validación manual por parte de expertos. Este proceso nos permitió descubrir varias fuentes de respuestas inseguras y aplicar estrategias específicas para mitigarlas. Como resultado, menos del  1 por mil de las preguntas formuladas por los usuarios y menos del 5 por mil de las preguntas de red-teaming fueron clasificadas como inseguras. Las acciones propuestas se centraron en mejorar los componentes clave del chatbot (incluyendo la base de datos de documentos, el diseño del prompt y el modelo de lenguaje) y pueden extrapolarse para mejorar la seguridad de otros chatbots similares basados en RAG.

Nota: La charla es una prueba de tiempo de la ponencia que presentará César en el XLI Congreso Internacional de la Sociedad Española para el Procesamiento del Lenguaje Natural que se celebrará en Zaragoza del 23 al 26 de septiembre. 

Sistemas conversacionales para la innovación en salud mental digital

Ponente: Zoraida Callejas Carrión (Universidad de Granada).

Lugar: Seminario Mirian Andrés (Edificio CCT).

Hora: lunes 16 de junio de 2025, 13:00.

Resumen: Los sistemas conversacionales pueden ser grandes aliados para la promoción de la salud mental, con aplicaciones que abarcan la educación y concienciación, la monitorización continua, el apoyo a intervenciones conductuales, el fomento de hábitos saludables y la prevención de recaídas, entre otros. Su principal fortaleza radica en que facilitan la interacción a través de diálogos naturales, permitiendo a los usuarios expresarse de forma más espontánea que con otras soluciones digitales. Además, estos sistemas pueden interpretar matices de la comunicación oral que aportan información valiosa sobre el estado de salud mental del interlocutor, convirtiéndose en un apoyo innovador para los profesionales y facilitando mejoras en la atención y el acceso a los servicios de salud mental. En este seminario se presentarán los avances recientes en este campo, destacando las capacidades de esta tecnología, sus aplicaciones prácticas y los principales desafíos a los que se enfrenta.

Nota: Esta charla está parcialmente financiada por el Vicerrectorado de Política Científica de la Universidad de La Rioja mediante las «Ayudas para la organización de conferencias y seminarios de investigación» (ACO 2025).