¿Qué es la música deepfake? ¿Y cómo se crea?

Durante mucho tiempo, la música pudo evitar el mundo de los deepfakes porque simplemente era demasiado complicado sintetizar la voz de alguien. Todo eso cambió con los avances en la tecnología de IA. Ha dado como resultado clones de voz de artistas famosos que se pueden usar para producir nuevas pistas vocales.

Con las herramientas de inteligencia artificial cada vez más accesibles para la gente promedio, la música falsa es un problema creciente. Esto es lo que es y cómo se crea.

La evolución de la música deepfake

Cuando escuchas a tu artista favorito cantando en Spotify o YouTube, difícilmente piensas que podría ser falso, pero los avances de la IA lo han hecho realidad. Además de imágenes y videos falsos, también existe música deepfake.

Las herramientas de IA pueden reproducir fielmente la voz de canto de una persona entrenando un modelo de IA con muestras de audio de su voz. Creado por fanáticos del artista o fanáticos de la tecnología de inteligencia artificial, más personas intentan crear doppelgängers vocales.

La gente ha estado tratando de sintetizar la voz usando una computadora durante años, desde 1961 cuando la IBM 7094 fue la primera computadora en cantar. Puedes escuchar el voz generada por computadora cantando Daisy Bell en un clip de YouTube e intenta imaginar lo increíble que fue este momento.

Avance rápido hasta el siglo XXI y la tecnología AI ha mejorado la calidad de la voz sintetizada. y nos permitió hacer cosas que la mayoría de nosotros nunca creímos posibles hasta ahora, como clonar las voces de las personas.

Solo echa un vistazo a este clip de Roberto Nickson transformando su voz en la del artista y rapero Kanye West. Ver el video se siente extraño, realmente suena como Kanye, pero también es incómodo de ver. Sin pensar demasiado en cómo podría pensar o sentir el artista, y sin permiso, podría verse como una apropiación de la voz de alguien.

A diferencia de la versión informática de Daisy Bell, la clonación vocal de IA puede reproducir la imagen exacta de la voz de alguien, que incluye todas las diferencias sutiles en el timbre que nos ayudan a identificar la voz única de alguien perfil. Sin licencia y sin permiso, sin embargo, la música deepfake tiene algunos problemas serios, de los que hablaremos más adelante.

Cómo se crean las canciones deepfake

Se están utilizando diferentes métodos para crear canciones falsas, pero muchas de ellas usan tecnología de IA. Proyectos de código abierto como Proyecto SoftVC VITS Singing Voice Conversion en GitHub, por ejemplo, han desarrollado un modelo de IA que hace lo que dice su nombre: convierte una muestra de audio en una voz cantada.

Este modelo toma un archivo de audio existente de alguien cantando y lo convierte en la voz de otra persona. Se mantienen cosas como la letra y el ritmo de la voz original, pero el tono, el timbre y las cualidades vocales personales se convierten a la voz especificada por el conjunto de datos de entrenamiento.

Tenga en cuenta que es posible que otras partes de la canción aún se produzcan manualmente, como crear ritmos y melodías en el mismo estilo y género que el artista original.

Para crear un deepfake de la voz de Kanye West, se tuvo que ingresar un conjunto de datos de terceros en el modelo SoftVC VITS, que incluiría muestras de la voz real de Kanye. Desde entonces, el autor eliminó el archivo que contiene el conjunto de datos, lo que no es sorprendente considerando el turbio territorio legal que podría surgir con los conjuntos de datos no autorizados.

Si bien no se ha convertido en una aplicación comercial, puede encontrar una versión de la Modelo SoftVC VITS en Google Collab que es más fácil de usar.

Hasta que se establezcan los límites éticos y legales, es posible que surjan aplicaciones de clonación de voz más fáciles de usar. ventana emergente: no muy diferente de la aplicación Drayk.it que convirtió una descripción de texto en canciones con el estilo del artista Pato. Más tarde fue cerrado.

Algunas otras herramientas que se utilizan para crear música deepfake incluyen modelos de lenguaje grandes como ChatGPT, que se puede utilizar para escribir letras al estilo de un artista famoso; y Jukebox de OpenAI y MusicLM de Google, que son modelos generativos de IA que pueden crear música en forma de audio sin procesar completamente desde cero.

¿Puedes escuchar la diferencia?

Una pista creada por un usuario anónimo llamado Ghostwriter se volvió viral en TikTok en abril de 2023, en gran parte porque presentaba letras cantadas por los artistas Drake y The Weeknd. Por supuesto, estas no eran las voces reales de los artistas, sino falsas.

Si las voces no hubieran sido una copia tan buena del original, podría no haber sido un éxito. Con un poco de excavación, podría averiguar bastante rápido si era real o no, pero usando solo sus oídos, solo podría adivinar si era auténtico.

Si quieres identificar una imagen generada por IA hay al menos algunas aberraciones visuales que podrías buscar. En cuanto al audio, señales como audio de baja fidelidad o fallas en la pista no significan mucho, ya que son opciones creativas que se usan en la producción musical todo el tiempo.

Lo que es aún más interesante es que a muchas personas realmente les gusta la canción, incluso después de descubrir que no eran las voces reales de Drake o The Weeknd. Los admiradores señalaron que no todo se generó simplemente con IA, y que la habilidad y el trabajo reales se dedicaron a escribir las letras, componer los ritmos y armar todo.

La pista llegó a Spotify y YouTube antes de ser eliminada en los días siguientes, pero no antes de que los fanáticos descargaran la canción como mp3. Todavía puedes encontrar copias de la canción en línea si buscas "Heart On My Sleeve, Drake ft. El fin de semana".

Muy pronto, será casi imposible detectar la diferencia entre los clones vocales generados por IA y la voz humana real. Con eso en mente, las personas se preguntan si este es un buen uso de la tecnología de inteligencia artificial en primer lugar, o incluso si es legal.

Problemas con la música falsa

Por un lado, la gente disfruta escuchando mashups hechos por fans de sus artistas favoritos y respeta la creatividad que se necesita para hacerlos realidad. Pero la capacidad de tener clones vocales en primer lugar se basa en conjuntos de datos que pueden o no estar autorizados.

Sin permiso, las muestras de la voz de una persona se recopilan en un conjunto de datos que luego se usa para entrenar un modelo de conversión de voz de IA. Es similar al problema que enfrentan artistas que quieren eliminar sus imágenes de los conjuntos de datos de entrenamiento que se utilizan para entrenar generadores de imágenes de IA como Dall-E o Midjourney.

La ley de derechos de autor tampoco está preparada para lidiar con la música deepfake. En 2020, el artista Jay-Z fracasó al intentar obligar a YouTube a eliminar el audio generado por IA de él rapeando líneas del soliloquio "To Be or Not to Be" de William Shakespeare.

Cuando se sube una canción falsa a Spotify o YouTube, también está la cuestión de quién está ganando dinero. ¿Deberías poder ganar dinero con una canción que copia la voz de otra persona casi exactamente?

acebo herndon es una artista que ha intentado crear un sistema para que la gente la compense a cambio de usar su modelo de voz para crear obras originales. Mientras que otros artistas como Nick Cave han hablado en contra de la IA, escribiendo:

Las canciones surgen del sufrimiento, lo que significa que se basan en la compleja lucha humana interna de la creación y, bueno, hasta donde yo sé, los algoritmos no sienten.

A veces, El texto generado por IA puede carecer de creatividad en conjunto, sin embargo, todavía se publican en línea. La IA podría dar como resultado mucha música mala a la que se le ha puesto muy poco esfuerzo.

Encontrar un equilibrio entre la música y la IA

La música deepfake se crea utilizando herramientas de IA y modelos de IA que han sido entrenados en conjuntos de datos no autorizados. Algunos modelos son de código abierto y de libre acceso, mientras que otros han intentado empaquetarlos en una aplicación fácil de usar.

A medida que más personas tengan en sus manos modelos o aplicaciones de música deepfake, vale la pena pensar en el impacto en el artista. Obtener el consentimiento para los conjuntos de datos de entrenamiento y la compensación para el artista son solo algunos de los problemas que se ciernen sobre la tecnología musical de IA.