Las herramientas de IA en la producción musical no son nada nuevo. Pero, ¿qué pasa con la música generada desde cero con IA? Ahora eso también es una realidad.
La IA generativa se está extendiendo lentamente a cada vez más disciplinas en la industria creativa. Comenzó con generadores de arte de IA y luego se extendió a la escritura con texto generado por IA. Ahora, podemos agregar música a esa lista.
En un futuro cercano, la música generada por IA, generada desde cero, se hará realidad. De hecho, ya es una posibilidad con Jukebox, el modelo de IA para crear música de OpenAI. Todavía no está disponible en una aplicación fácil de usar, y aún no suena lo suficientemente bien, pero los elementos algorítmicos están ahí.
Esto es lo que necesita saber sobre Jukebox de OpenAI y lo que puede hacer con él.
Jukebox: IA que genera música como audio sin procesar
Jukebox es una red neuronal que puede generar música en forma de audio sin procesar cuando le das información como género, artista o letra. Fue lanzado en abril de 2020 por OpenAI, la misma compañía que nos trajo el generador de arte de IA llamado Dall-E y el chatbot de IA llamado ChatGPT.
A diferencia de Dall-E, que se extendió rápidamente por todo el mundo y convirtió a la IA en un tema febril de las noticias y los medios, Jukebox no registró un gran interés tras su lanzamiento. Una de las razones de esto es que no tiene una aplicación web fácil de usar, al menos, no todavía.
Puedes encontrar el código en el Sitio web de Open AI, junto con una explicación detallada de cómo funciona el proceso de codificación y decodificación.
Otra razón probable es que requiere una enorme cantidad de tiempo y potencia informática. Para darle una idea, solo un minuto de audio puede tardar 9 horas en renderizarse. Necesitará voluntad para explorar el modelo en su forma de código, además de mucha paciencia si desea ver qué puede hacer un modelo de IA para generar música.
O bien, puede saltar a la Explorador de muestras de Jukebox. Aquí es donde OpenAI ha publicado sus experimentos al generar canciones a la semejanza de Ella Fitzgerald o 2Pac.
Para ser claro, otras herramientas musicales de IA existen para ayudarte a generar una canción, pero no generan audio desde cero. En cambio, están combinando muestras pregrabadas o creando información MIDI que se pasa a través de un sintetizador digital.
¿Cómo suena la máquina de discos?
Los resultados de Jukebox son reconocibles pero extraños. No es difícil entender la forma de la canción y el género al que pertenece, pero la calidad de los resultados hace que suene como si estuviera escuchando parte de la música grabada más antigua: es decir, amortiguada con un montón de ruido.
Es seguro decir que Jukebox no produce el tipo de sonido de alta fidelidad que escucharía con un par de buenos auriculares. Es más parecido a escuchar música de una estación de radio que no está completamente sintonizada en la frecuencia correcta. Algunas canciones son versiones nuevas, mientras que otras son continuaciones de canciones existentes. También hay una categoría para artistas y estilos novedosos, y letras inéditas.
A pesar de la calidad del sonido, los primeros experimentadores describen estar asombrados por la inquietante belleza y la extraña naturaleza de la música creada por Jukebox. "Como la banda sonora de la documentación sobre un país desconocido con una cultura desconocida", escribe Merzmench en Medio.
Actualmente, los resultados están lejos de ser lo suficientemente buenos como para copiar, o incluso reemplazar, la música creada por humanos, pero la la tecnología avanza rápidamente y, muy pronto, modelos como Jukebox podrán lograr esas hazañas también.
Cómo se entrenó el Jukebox de OpenAI
Parte de cómo Jukebox es capaz de crear música que nunca antes existió es que está entrenado con la música de músicos reales. OpenAI explica que:
"Para entrenar este modelo, rastreamos la web para seleccionar un nuevo conjunto de datos de 1,2 millones de canciones (600.000 de las cuales están en inglés), junto con las letras y los metadatos correspondientes de LyricWiki".
El rastreo de datos es una práctica utilizada por algunas empresas de IA para crear un conjunto de datos que un modelo de IA puede usar para aprender y tomar decisiones al generar una imagen, texto o, en este caso, música. Los conjuntos de datos creados mediante el rastreo son controvertidos porque, en primer lugar, no se obtiene el consentimiento de los propietarios de los datos. Aunque algunas plataformas te permiten excluir su contenido de los conjuntos de datos.
Puede pensar que 1,2 millones de canciones son muchas, pero en comparación, Dall-E 2 se entrenó con cientos de millones de pares de imágenes y texto de Internet. Con eso en mente, Jukebox tiene su limitación.
Su grupo de entrenamiento relativamente pequeño no puede capturar la riqueza y diversidad de la música humana. OpenAI ha declarado que está entrenado en gran medida en la música occidental, lo que representa un claro sesgo en la música que es capaz de generar.
¿Qué puedes hacer con Jukebox?
Entonces, teniendo en cuenta sus limitaciones, ¿qué puede hacer con Jukebox? Una forma rápida de responder a esa pregunta es decir lo que no puede hacer con Jukebox.
Debido a que lleva cerca de medio día renderizar un minuto de música, no es muy útil para producir música. Almenos no en el sentido tradicional. Normalmente, los músicos van y vienen entre tocar un instrumento (improvisar) y planificar la estructura de una canción. El mismo tipo de experimentación no es posible con Jukebox.
Dado que no es fácil crear una canción con Jukebox en esta etapa, puede considerarlo más como una forma novedosa de generar muestras de música. Una vez que haya generado el audio que le gusta, puede usarlo en sus proyectos creativos como lo haría normalmente.
El siguiente video es el resultado de alguien que usó música creada con Jukebox para subrayar un breve video de montaje.
La inteligencia artificial tiene una amplia gama de aplicaciones además de las aplicaciones creativas, por lo que vale la pena comprender qué es la IA y los peligros que plantea.
¿Te conmueve AI Music?
La música generada por Jukebox no es fácil de descartar y, a pesar de toda su extrañeza y su extraña cualidad humana-máquina, al final suena como música. Si bien la industria de la música ha estado utilizando herramientas de IA desde hace algún tiempo, la posibilidad de generar música como audio sin procesar es solo ahora una realidad.
Pero si bien existen modelos como Jukebox, aún no se han empaquetado en una herramienta comercial y aún no alcanzan las capacidades de los músicos humanos.
