FOAM: la optimización de primer orden para el aprendizaje automático

En un mundo cada vez más digitalizado, el Equipo Asociado franco-chileno, donde colaboran investigadores del centro Inria de París, Sierra y de la Pontificia Universidad Católica de Chile (PUC), se ha dedicado a investigar métodos acelerados de primer orden para el aprendizaje automático (machine learning). Esto incluye un abanico de disciplinas, como la convergencia óptima en el aprendizaje estadístico, la optimización de convexa estocástica, las desigualdades variacionales y los problemas de punto fijo bajo la estimación del rendimiento. El objetivo es lograr aplicaciones y ampliar los límites en múltiples áreas, como el análisis de datos astronómicos, problemas de seriación, procesamiento de señales, ingeniería y entrenamiento de modelos generativos adversariales (GANs). 

Esta vez, hablamos con Alexandre d’Aspremont, del equipo-proyecto SIERRA e investigador y coordinador de FOAM, y con Cristóbal Guzmán, investigador y profesor especializado en optimización convexa de gran escala, complejidad de métodos iterativos, equilibrio en redes de transporte/telecomunicaciones de la PUC, una de las mejores universidades de Latinoamérica y de Chile, para conocer más acerca de su trabajo colaborativo.

¿Podrían presentarnos a FOAM?

FOAM (First-Order Accelerated Methods for Machine Learning) es un Equipo Asociado, basado en la colaboración entre el equipo de Inria Sierra e investigadores de la Pontificia Universidad Católica de Chile y de la Universidad Adolfo Ibáñez. El co-PI de la parte francesa es Alexandre d'Aspremont, mientras que el co-PI de la parte chilena es Cristóbal Guzmán.

En cuanto al origen de FOAM, ¿cómo empezaron a colaborar por primera vez?

- Cristóbal Guzmán (C. G.): Empecé a colaborar con Alexandre ya en mi doctorado. Teníamos intereses comunes en la complejidad de la optimización, lo que dio lugar a una colaboración a largo plazo. La principal motivación del Equipo Asociado fue como vehículo para facilitar la participación de estudiantes y otros investigadores en este proyecto a largo plazo.

- Alexandre d’Aspremont (A. A.): Habíamos empezado a colaborar en varios temas de interés común ya en 2013, en torno a la complejidad de los métodos de primer orden. A esto, le siguieron varias visitas tanto en París como en Chile. También, cosupervisamos a un estudiante de doctorado y el formato de Equipo Asociado parecía muy apropiado para apoyar esta colaboración en curso.

¿Cuáles son las áreas específicas de investigación de cada uno de ustedes? ¿Qué preguntas científicas buscan responder o ya han respondido con el proyecto?

- C.G.: Estoy interesado en la complejidad de la optimización, especialmente en relación con la resolución de problemas de aprendizaje automático. En relación con esto, he trabajado recientemente en estas cuestiones en entornos que implican datos privados de usuarios. Aquí, el principal reto es diseñar algoritmos con garantías rigurosas de privacidad. Este proyecto ha sido fundamental para avanzar en la comprensión de estos campos, y además hemos explorado algunos problemas de aprendizaje automático que van más allá de la optimización más tradicional, como los problemas de seriación.

- A.A.: Mi trabajo se centra principalmente en la comprensión de la complejidad algorítmica y el rendimiento. La idea es identificar propiedades de regularidad de los problemas de optimización que predigan mejor su complejidad y se ajusten más a la evidencia empírica. Se trata de comprender mejor los límites teóricos de los métodos actuales y mejorar su rendimiento en la práctica.

¿Cuáles son los objetivos de FOAM y los resultados esperados?

- C. G.: Nuestros objetivos pueden resumirse en desarrollar una comprensión fundamental para resolver varios modelos recientemente popularizados en el aprendizaje automático, incluyendo la optimización estocástica, las desigualdades variacionales y los problemas de punto fijo. Esta investigación, se complementa con el desarrollo de métodos eficientes para resolver estos problemas. Los resultados esperados del proyecto son publicaciones en conferencias y revistas de primer nivel centradas en estas áreas de investigación. También esperamos graduar a un número significativo de estudiantes de máster y doctorado en las instituciones implicadas.

¿Cuáles son las aplicaciones específicas que podría tener o ha tenido FOAM?

- C. G.: Nuestra principal inspiración para la teoría y los métodos que estamos desarrollando está relacionada con los problemas inversos. Se trata de un escenario en el que existe una señal desconocida (puede ser audio, imagen, etc.), de la que solo se tiene una observación parcial, por ejemplo al pasar por un filtro o máscara.

 ¿Cómo se complementa el trabajo entre los equipos de Francia y Chile?

- C. G.: Creo que los miembros de Francia y Chile son muy complementarios. Por un lado, Sierra tiene un historial muy sólido en métodos computacionales y participación en aplicaciones. Además, son muy activos en la comunidad del aprendizaje automático. Por otro lado, los miembros chilenos del equipo tienen un enfoque más teórico, por lo que creo que estas perspectivas complementarias han sido claves para mantener un equilibrio saludable de enfoque teórico y computacional en nuestra investigación. En concreto, el trabajo teórico que llevamos a cabo está fuertemente arraigado en el desarrollo de métodos que pueden ser fácilmente utilizados en otros entornos.

Además, la financiación de Inria ha sido crucial para el desarrollo de mi carrera. Ha impulsado y ampliado mi investigación, ha facilitado mis contactos con los investigadores franceses y ha brindado oportunidades a los jóvenes investigadores de ambos grupos.

- A. A.:  Por la parte francesa, hemos estado trabajando mucho en la mejora de los límites de complejidad y el rendimiento algorítmico, mientras que el equipo de Chile tiene una gran experiencia en los resultados teóricos que nos dicen hasta dónde podemos esperar llegar en este sentido, es decir los límites inferiores teóricos de este rendimiento.

Respecto a nuestro trabajo en conjunto, quisiera añadir que ahora que por fin ha terminado el episodio Covid, es estupendo poder reanudar las colaboraciones en persona, sobre todo las de larga distancia. El proyecto FOAM es una gran oportunidad para hacerlo.