Inscripciones abiertas para participar de la Datathon Regional: Evaluación socio-cultural de los grandes modelos de lenguaje organizadas por Inria Chile el 03 de octubre

Los grandes modelos de lenguaje se utilizan masivamente en América Latina, liderando las tasas de uso (el 76 % de la población adulta en Chile la utiliza, una de las tasas las más altas del mundo) y de compras de aplicaciones de pago de inteligencia artificial generativa (Brasil es el tercer mercado mundial para OpenAI). 

Sin embargo, los datos utilizados para entrenar estos modelos provienen mayoritariamente de países del Norte y están en inglés, lo que genera contenidos sesgados o vacíos de conocimiento cuando se aplican a contextos culturales del Sur, debido a la ausencia o subrepresentación de datos en su entrenamiento.

La Datathon Regional busca corregir la asimetría de cobertura cultural que lleva a sesgos sociales y culturales de la IA generativa mediante contribuciones directas de estudiantes latinoamericanos que conocen su contexto cultural de primera mano, y realizar un diagnóstico profundo de los sesgos culturales, lingüísticos, históricos, de género y de minorías en los grandes modelos de lenguaje.

La “Datathon Regional: Evaluación sociocultural de los grandes modelos de lenguaje” busca realizar un diagnóstico profundo de la asimetría de cobertura sociocultural de las IA generativas  y contribuir a su corrección.  

¿Cómo? Gracias a las contribuciones de estudiantes latinoamericanos que conocen su contexto sociocultural de primera mano y que durante un día se dedican a trabajar en equipos multidisciplinarios para lograr poner en aprietos y “engañar” a los LLMs.  

Durante un día, estudiantes de diversos países de América Latina se reunirán en sus universidades para trabajar en equipos diversos en la creación de preguntas que desafíen los grandes modelos de lenguaje.  

¿El objetivo? Crear el dataset de preguntas latinoamericanas más grande posible, representar la diversidad sociocultural latinoamericana y fomentar el trabajo interdisciplinario entre estudiantes.  

Durante el día de la Datathon, los estudiantes trabajarán de manera colaborativa, subiendo en una plataforma creada para la instancia, sus preguntas a respuestas múltiples (QCM), que serán evaluadas. 

Los equipos de estudiantes participantes deberán: 

        → Crear un conjunto de preguntas siguiendo el modelo de preguntas de opción múltiple (sólo una respuesta correcta entre cuatro).  

        → Proporcionar una lista de preguntas diseñadas para capturar conocimientos específicos de su región, país o cultura, donde solo una de las opciones propuestas sea la respuesta correcta.

Por ejemplo, una pregunta podría ser:

• Pregunta: ¿Qué es el milcao?
• Opción A: Un batido a base de chocolate.
• Opción B: Un pájaro de la Araucanía.
• Opción C: Una herramienta para ordeñar cabras del pueblo mapuche.
• Opción D: Un pan de papas típico de Chiloé.
• Respuesta correcta: D.

El equipo ganador será el equipo que logra a complicar más los grandes modelos de lenguaje y la evaluación se realizará de la manera siguiente: 

• Revisión inicial: Realizada por un sistema mixto que combina análisis de similitud de texto y revisión humana. 
• Evaluación posterior: la evaluación estará a cargo de un panel de modelos de lenguaje (LLMs). 
• Puntuación: Basada en la capacidad de las preguntas de cada equipo para “engañar” exitosamente a dichos modelos.
• Ranking: Actualización periódica durante el evento.

Trás la evaluación: será seleccionado un equipo ganador regional, que será anunciado este mismo día durante la Datathon Regional y durante la inauguración del Encuentro Francia América Latina sobre Ciencia Abierta.

En algunos de los países participantes, un equipo nacional también será elegido como ganador por el asesor operativo, es decir la Embajada de Francia en su país. 

• El equipo ganador de la Datathon Regional recibirá 2.000 euros para ser repartidos equitativamente entre sus miembros. 
• Los integrantes de la Datathon Regional serán mencionados como contribuyentes en la publicación de LatamQA v2 de Inria Chile. 
• En algunos países, los mejores equipos nacionales podrán recibir un premio también.

La “Datathon Regional: Evaluación Sociocultural de los Grandes Modelos de Lenguaje” es organizada por Inria Chile, con el apoyo del Ministerio para Europa y Asuntos Exteriores de Francia. 

La red de Embajadas de Francia en los países participantes actúan como Asesores Organizativos a nivel nacional, movilizando redes académicas y facilitando el apoyo logístico, institucional y comunicacional.

Las Universidades locales actúan como Operadores Locales, coordinando la definición de los equipos, las sedes de participación y el soporte logístico. 

La Datathon Regional se enmarca en el Encuentro Francia América Latina sobre Ciencia Abierta, un evento coorganizado por el Ministerio para Europa y Asuntos Exteriores, el Ministerio de Educación Superior, Investigación y Espacio, la Embajada de Francia en Uruguay, la Embajada de Francia en Argentina, la Secretaría de Valorización de la Ciencia y el Conocimiento de Uruguay (SENCI), la Universidad de la República (Udelar) y la Agencia Nacional de Investigación e Innovación (ANII) y cuenta con el apoyo de las Delegaciones de la Unión Europea en Uruguay y Argentina.

El IV Encuentro Francia América Latina sobre Ciencia abierta tiene como objetivo dar continuidad al diálogo iniciado en Buenos Aires en 2021, en San Pablo en 2022 y en París en 2023, entre expertos latinoamericanos, europeos y franceses sobre temas relacionados con publicaciones, datos, software, infraestructura, evaluación de la investigación, inteligencia artificial y la lucha contra la desinformación.