¿Qué es el aprendizaje por transferencia de IA y cómo funciona?

Si está interesado en entrenar su propio modelo de IA para procesamiento de lenguaje natural (NLP) o visión por computadora, debe familiarizarse con el aprendizaje de transferencia y cómo usar modelos previamente entrenados.

Sin transferencia de aprendizaje, la formación de un modelo eficaz y fiable a menudo será un esfuerzo prohibitivo de recursos, que requiere mucho dinero, tiempo y experiencia, y se estima que el desarrollador de ChatGPT, OpenAI, gastó millones en capacitar a GPT-3, GPT-3.5 y GPT-4. Con el poder del aprendizaje por transferencia, puede entrenar su propio modelo tan poderoso como el modelo GPT más reciente con pocos recursos en un período breve.

¿Qué es el aprendizaje por transferencia de IA?

El aprendizaje por transferencia es la idea de tomar un modelo previamente entrenado como BERT o uno de los diferentes modelos GPT y entrenarlo en un conjunto de datos personalizado para trabajar en tareas para las que no estaba necesariamente capacitado.

Por ejemplo, puede tomar un modelo previamente entrenado para clasificar diferentes especies de gatos y entrenarlo para clasificar perros. A través del aprendizaje por transferencia, entrenar a su modelo de clasificación de perros debería tomar mucho menos tiempo y recursos para volverse tan confiable como el modelo original de clasificación de gatos.

Esto funciona ya que los gatos y los perros comparten muchos rasgos que el modelo preentrenado ya puede identificar. Dado que el modelo de clasificación de gatos puede identificar los diversos rasgos de un gato, como tener cuatro patas, abrigos de piel y hocicos, el modelo de clasificación de perros puede omitir todo el entrenamiento para identificar esos rasgos y heredarlos del original modelo. Después de heredar todas esas redes neuronales, corta las últimas capas del modelo entrenado utilizado para identificar los rasgos más específicos de un gato y los reemplaza con un conjunto de datos específico para perros.

¿Qué modelos de IA puede usar para transferir el aprendizaje?

Para usar el aprendizaje por transferencia, necesitará un modelo previamente entrenado. Un modelo preentrenado se conoce comúnmente como un modelo de IA entrenado con el fin de obtener conocimientos generales sobre un tema o idea en particular. Estos tipos de modelos preentrenados están hechos a propósito para que las personas los ajusten y creen modelos más específicos de la aplicación. Algunos de los modelos pre-entrenados más populares son para PNL, como BERT y GPTy visión artificial, como VGG19 e Inceptionv3.

Aunque son populares, estos modelos fácilmente ajustables no son los únicos que puede usar para transferir el aprendizaje. También puede usar modelos entrenados en tareas más específicas que el reconocimiento general de objetos o lenguaje. Siempre que el modelo haya desarrollado redes neuronales aplicables al modelo que está tratando de entrenar, puede usar casi cualquier modelo para transferir el aprendizaje.

Puede obtener modelos preentrenados disponibles públicamente en lugares como TensorFlow Hub, Hugging Face y el mercado de modelos OpenAI.

Beneficios de usar AI Transfer Learning

Transferir el aprendizaje proporciona varios beneficios sobre el entrenamiento de un modelo de IA desde cero.

• Tiempo de entrenamiento reducido: Cuando se entrena un modelo desde cero, una gran parte del proceso de entrenamiento se dedica al conocimiento básico general. A través del aprendizaje por transferencia, su modelo hereda automáticamente todo este conocimiento fundamental, lo que reduce significativamente el tiempo de capacitación.
• Requisito de menos recursos: Dado que todo el conocimiento básico ya está allí, todo lo que necesita hacer es entrenar más el modelo para las especificaciones de su aplicación. Esto a menudo solo requiere un conjunto de datos relativamente pequeño que se puede procesar con menos poder de cómputo.
• Desempeño mejorado: A menos que gaste millones de dólares en construir su modelo desde cero, no puede esperar un modelo tan bueno o confiable como un modelo de lenguaje grande (LLM) de una empresa tecnológica gigante. Al utilizar el aprendizaje por transferencia, puede aprovechar las poderosas capacidades de estos LLM previamente capacitados, como GPT, para mejorar el rendimiento de su modelo.

Es posible entrenar un modelo de IA desde cero, pero necesita mayores recursos para hacerlo.

¿Cómo funciona el aprendizaje por transferencia?

En esencia, hay tres etapas cuando se trata de transferir el aprendizaje.

• Selección de un modelo preentrenado: Un modelo previamente entrenado se somete a un entrenamiento inicial utilizando un conjunto de datos considerable de una tarea de origen, como ImageNet, o una gran colección de texto. Esta fase de entrenamiento inicial permite que el modelo adquiera conocimiento de las características y patrones generales que se encuentran en el conjunto de datos. La cantidad de tiempo y recursos que ahorre con el aprendizaje por transferencia dependerá de las similitudes entre el modelo entrenado previamente y el modelo que está tratando de construir.
• Extracción de características: Una vez que se ha seleccionado un modelo preentrenado para el ajuste fino, las capas iniciales del modelo preentrenado (las más cercanas a la entrada) se congelan; esto significa que sus pesos se mantienen fijos durante el ajuste fino. La congelación de estas capas retiene el conocimiento general aprendido durante la fase previa al entrenamiento y evita que se vean fuertemente influenciadas por el conjunto de datos específico de las tareas del modelo de destino. Para modelos completamente entrenados para aplicaciones específicas, las capas finales de los modelos se eliminan o desaprenden para que el modelo de destino se entrene en otras aplicaciones específicas.
• Sintonia FINA: Una vez que el modelo previamente entrenado se ha congelado y se han eliminado las capas superiores, se alimenta un nuevo conjunto de datos al algoritmo de aprendizaje, que luego se usa para entrenar el nuevo modelo y los detalles de su aplicación.

Hay más que las tres etapas, pero este resumen detalla aproximadamente cómo funciona el proceso de aprendizaje de transferencia de IA, con algunos ajustes.

Limitaciones del aprendizaje por transferencia de IA

Si bien el aprendizaje por transferencia es un concepto valioso en el entrenamiento de modelos efectivos y confiables, existen bastantes limitaciones que debe conocer al usar el aprendizaje por transferencia para entrenar un modelo.

• Falta de coincidencia de tareas: Al elegir un modelo base para el aprendizaje por transferencia, debe ser lo más relevante posible para los problemas que resolverá el nuevo modelo. Es más probable que el uso de un modelo que clasifique gatos para crear un modelo de clasificación de perros produzca mejores resultados que el uso de un modelo de clasificación de automóviles para crear un modelo para plantas. Cuanto más relevante sea el modelo base para el modelo que está tratando de construir, más tiempo y recursos ahorrará a lo largo del proceso de transferencia de aprendizaje.
• Sesgo del conjunto de datos: Aunque los modelos previamente entrenados a menudo se entrenan en grandes conjuntos de datos, aún existe la posibilidad de que hayan desarrollado un sesgo particular durante su entrenamiento. El uso del modelo base altamente sesgado también haría que el modelo heredara sus sesgos, lo que reduciría la precisión y confiabilidad de su modelo. Desafortunadamente, el origen de estos sesgos es difícil de precisar debido a la naturaleza de caja negra del aprendizaje profundo.
• Sobreajuste: Uno de los principales beneficios del aprendizaje por transferencia es que puede usar un conjunto de datos relativamente pequeño para entrenar aún más un modelo. Sin embargo, entrenar el modelo en un conjunto de datos que es demasiado pequeño puede causar un sobreajuste, lo que reduce significativamente la confiabilidad del modelo cuando se le proporcionan nuevos datos.

Entonces, si bien el aprendizaje por transferencia es una práctica técnica de aprendizaje de IA, existen limitaciones y no es una panacea.

¿Debe utilizar el aprendizaje por transferencia?

Desde la disponibilidad de modelos pre-entrenados, el aprendizaje por transferencia siempre se ha utilizado para hacer modelos más especializados. Realmente no hay motivo para no utilizar el aprendizaje por transferencia si ya existe un modelo preentrenado relevante para los problemas que su modelo resolverá.

Aunque es posible entrenar un modelo de aprendizaje automático simple desde cero, hacerlo en un modelo de aprendizaje profundo requerirá muchos datos, tiempo y habilidad, lo que no tendrá sentido si puede reutilizar un modelo existente similar al que planea tren. Entonces, si quiere gastar menos tiempo y dinero en entrenar un modelo, intente entrenar su modelo a través del aprendizaje por transferencia.