MULTIMEDIAT: Mediación multimodal de debates con agentes conversacionales

Resumen del proyecto

Este proyecto explora cómo la multimodalidad y las herramientas pueden potenciar los agentes socialmente inteligentes, centrándose especialmente en la comprensión y el modelado de fenómenos no verbales para mediar en un debate político. El primer objetivo es desarrollar agentes mediadores basados en modelos de lenguaje a gran escala (LLM) que analicen argumentos, detecten posturas y valores, y guíen las discusiones hacia el consenso mediante estrategias de minería de argumentos y resolución de conflictos. El segundo objetivo extiende este enfoque a datos multimodales, integrando señales de habla, faciales y gestuales en agentes conversacionales encarnados (ECA). Mediante métodos de fusión basados en transformadores y teoría de la información, estos agentes interpretarán y generarán un comportamiento no verbal socialmente coherente. El resultado esperado es una nueva generación de ECA con conciencia social, capaces de facilitar interacciones empáticas y constructivas entre humanos e IA para la mediación de debates.

En Francia

• Chloé Clavel, investigadora, coordinadora del proyecto MULTIMEDIAT, Equipo-proyecto ALMAnaCH, Centro Inria de París, Inria

• Djame Seddah, investigador, Equipo-proyecto ALMAnaCH, Centro Inria de París, Inria

• Celia Nouri, estudiante de doctorado, Equipo-proyecto ALMAnaCH, Centro Inria de París, Inria

• Yi Yu, estudiante de doctorado, Equipo-proyecto ALMAnaCH, Centro Inria de París, Inria

• Yannis Karmim, investigador postdoctoral, Equipo-proyecto ALMAnaCH, Centro Inria de París, Inria, Inria Chile 

En Chile

• Valentin Barrière, investigador, coordinador del proyecto MULTIMEDIAT, Universidad de Chile

• Jorge Silva, investigador, Universidad de Chile

• Benjamín Farías, estudiante de doctorado, Universidad de Chile

• Mitchell Bosley, investigador postdoctoral, Centro Nacional de Inteligencia Artificial (CENIA)

• José Guillén, ingeniero I+D, Centro Nacional de Inteligencia Artificial (CENIA)