- La Fundación BBVA financia el proyecto de David Ríos (CSIC-ICMAT), “Aprendizaje de máquina adversario: métodos, computación y aplicaciones a malware, noticias falsas y vehículos autónomos”.
- Desarrollará sistemas estadísticos más robustos frente a ataques que tratan de inducir a error a máquinas inteligentes.
- En la iniciativa participan 18 investigadores de 10 instituciones de todo el mundo.
Hoy en día numerosas aplicaciones se basan en la capacidad de los ordenadores para aprender de forma autónoma: desde inocentes recomendadores de películas, a partir de las preferencias del usuario; hasta softwares de diagnóstico médico capaz de identificar tumores malignos en imágenes digitales. Las máquinas son capaces de ejecutar estas tareas –incluso mejor que los humanos– gracias a la disponibilidad de grandes cantidades de datos y a intrincados algoritmos matemáticos. Este proceso de aprendizaje puede conducir a errores, e incluso incorporar sesgos ocultos. Aún más si se introducen adrede datos que confunden a la máquina.
“Los algoritmos de aprendizaje automático pueden recibir ataques maliciosos que pongan en peligro su funcionamiento, simplemente enfrentándolos a tipos de datos frente a los que no estaban entrenados”, explica David Ríos Insua, director de la Cátedra AXA ICMAT de Análisis de Riesgos Adversarios. Él es el investigador principal de un nuevo proyecto sobre Aprendizaje de máquina adversario que ha sido seleccionado en la convocatoria 2019 de Ayudas Fundación BBVA a Equipos de Investigación Científica en el área de Big Data.
El objetivo de la investigación es evitar situaciones como la provocada por un equipo de científicos, que diseñó un estampado para ropa que impedía que quien lo llevase fuese detectado por un vehículo autónomo; y que, por tanto, no frenaría si se encontraran. Otro ejemplo más mediático fue el del artista que consiguió con un carrito repleto de móviles que Google Maps creyera erróneamente que se había producido un gran atasco en una calle desierta.
Por el momento, para responder a estos peligros se emplean métodos basados en la llamada teoría de juegos, que sirve para entender el comportamiento de varios individuos enfrentados en un juego, y se aplica en ramas que van desde la economía a la biología. Sin embargo, “esta requiere hipótesis difícilmente sostenibles en el contexto de seguridad típico de este campo, como el conocimiento común de las preferencias y creencias de todos los jugadores”, señala Ríos.
El nuevo proyecto hará frente a estos peligros desarrollando nuevos algoritmos robustos y fiables frente a posibles ataques desde otra perspectiva. “Nuestra aproximación se basa en las propuestas más realistas del análisis de riesgos adversarios, que plantean los problemas de forma más natural como problemas de toma decisiones con un mecanismo coherente para predecir las acciones de adversarios”, apunta el investigador.
El grupo liderado por Ríos, que incluye a 18 matemáticos e informáticos de una decena de instituciones españolas, estadounidenses, italianas y chinas, estudiará varios escenarios. En primer lugar, la protección de algoritmos de conducción en vehículos autónomos frente ataques como el que se ha mencionado. “También trabajaremos en la detección de software malicioso y de fake news”, añade.
Como resultado, el proyecto proporcionará nuevos conceptos y métodos computacionales que conduzcan a sistemas de inteligencia artificial más seguros y robustos.
Más información:
“Adversarial Machine Learning: Methods, Computations and Applications to Malware, Fake News and Autonomous Vehicles (AMALFI)”
Investigador principal: David Rios Insua, Instituto de Ciencias Matemáticas (ICMAT)-CSIC
Miembros del equipo: David Gómez-Ullate Oteiza (Universidad de Cadiz); Salvador Perelló Oliver (Universidad Rey Juan Carlos); Jared Lee Aurentz (ICMAT – Universidad Autónoma de Madrid); Alberto Torres Barrán (ICMAT – CSIC); Alex Kosgogadan (ICMAT – CSIC); David Gordo Gómez (ICMAT – CSIC); David Banks (Duke University); Refik Soyer (The George Washington University); Fabrizio Ruggeri (Italian National Research Council); Tahir Ekin (McCoy College of Business, Texas State University); Roi Naveiro Flores (ICMAT – CSIC); Victor Gallego Alcalá (ICMAT – CSIC); Bruno Flores Barrio (ICMAT – CSIC); Melike Baykal-Gürsoy (Rutgers, The State University of New Jersey); Verma Rakesh (University of Houston); y Huizhen Zhang (University of Shanghai for Science and Technology).