Si se le pide a un modelo de inteligencia artificial (IA) que genere imágenes de perros al azar, la máquina va a recrear las imágenes de un golden retriever como la raza de perro más popular, pero también algunos dálmatas o bulldogs franceses, aunque en menor cantidad por ser razas más raras. Pero si otros modelos de IA se entrenaran con los datos producidos por esa máquina, con el golden retriever sobrerrepresentado, poco a poco se olvidarán de las razas menos comunes y solo mostrarán esa raza. Finalmente, devolverán únicamente manchas marrones que se asemejan a esos perros. Una investigación demuestra que después de entrenar una y otra vez a un modelo de IA con contenido generado por la misma máquina, el modelo colapsa, dejando así de funcionar, dando malas respuestas y proporcionando información incorrecta. “Empiezan a producir ejemplos que nunca serían creados por el modelo original, es decir, empiezan a malinterpretar la realidad basándose en errores introducidos por sus predecesores”, explica el estudio que alerta de cómo las máquinas que se entrenan con información sintética “pierden la percepción de la realidad”.
“Empieza a perder información porque no está claro si los datos recogidos son suficientes para cubrir todos los casos posibles. Los modelos están sesgados e introducen sus propios errores, y los modelos del futuro pueden percibir erróneamente la realidad, ya que se entrenarán con datos sesgados procedentes de otros modelos”, explica Ilia Shumailov, coautor del estudio publicado hoy en la revista Nature, punta de lanza de la mejor ciencia, e investigador de la Universidad de Oxford, que actualmente trabaja para Google DeepMind. Los datos se “envenenan”, según expresa el estudio.
Los autores del estudio presentan unos modelos matemáticos que ilustran la idea del colapso: demuestran que una IA puede pasar por alto algunos datos en su entrenamiento (por ejemplo, líneas de texto menos comunes) y solo entrenarse con una parte de ellos. Por ejemplo, se hizo una prueba con un texto sobre arquitectura medieval como entrada original y en el noveno entrenamiento terminó dando una lista de liebres. “Los modelos aprenden unos de otros. Cuánto más aprenden, más degradan su rendimiento y empiezan a generar texto repetitivo que es independiente de la petición de entrada”, añade Shumailov.