No es el nombre de una novela. Tampoco es una canción. El título de este artículo alude a la inteligencia artificial. Un equipo de la Universidad de Washington se hizo una pregunta. ¿La inteligencia artificial podría recrear la experiencia interpretativa de los músicos utilizando solo señales visuales? La respuesta fue la música que sale del silencio. Así se gestó Audeo, que crea audio a partir de interpretaciones de piano silenciosas.
Mirando la música
El equipo probó la música que Audeo creó con aplicaciones de reconocimiento de música, como SoundHound. Identificaron correctamente la pieza que Audeo reproducía aproximadamente el 86% del tiempo. «¿Crear música que suene como si pudiera tocarse en una interpretación musical? Se creía anteriormente imposible», dijo en un comunicado el autor principal Eli Shlizerman.
«Un algoritmo necesita descubrir las señales en los fotogramas de video que están relacionados con la generación de música. E ‘imaginar’ el sonido que está sucediendo entre los fotogramas de video. Cuando logramos una música que sonaba bastante bien fue una sorpresa».
Traduciendo la música
Audeo usa una serie de pasos para decodificar lo que pasa en el video y luego traducirlo a música. Tiene que detectar qué teclas se presionan en cada cuadro de video para crear un diagrama a lo largo del tiempo. Luego, debe traducir ese diagrama en algo que un sintetizador de música reconozca como un sonido de piano. Este segundo paso limpia los datos y agrega más información, como con qué fuerza se presiona cada tecla y durante cuánto tiempo.
Los investigadores entrenaron y probaron el sistema utilizando videos de YouTube del pianista Paul Barton. La formación consistió en unos 172.000 fotogramas de vídeo de Barton tocando música de compositores clásicos conocidos, como Bach y Mozart. Luego probaron Audeo con casi 19.000 fotogramas de Barton tocando música diferente de estos compositores y otros, como Scott Joplin.
La música que sale del silencio suena distinto en cada sintetizador. Esto es similar a cambiar la configuración de «instrumento» en un teclado eléctrico. Para este estudio, los investigadores utilizaron dos sintetizadores diferentes.
