¿Qué es el aprendizaje Zero Shot y cómo puede mejorar la IA?

Conclusiones clave

• La generalización es esencial en el aprendizaje profundo para garantizar predicciones precisas con nuevos datos. El aprendizaje de disparo cero ayuda a lograr esto al permitir que la IA utilice el conocimiento existente para hacer predicciones precisas sobre clases nuevas o invisibles sin datos etiquetados.
• El aprendizaje de disparo cero imita cómo los humanos aprenden y procesan datos. Al proporcionar información semántica adicional, un modelo previamente entrenado puede identificar con precisión nuevas clases, del mismo modo que un humano puede aprender a identificar una guitarra de cuerpo hueco al comprender sus características.
• El aprendizaje de disparo cero mejora la IA al mejorar la generalización, la escalabilidad, reducir el sobreajuste y ser rentable. Permite entrenar modelos en conjuntos de datos más grandes, obtener más conocimiento mediante el aprendizaje por transferencia, tener una mejor comprensión contextual y reducir la necesidad de una gran cantidad de datos etiquetados. A medida que avance la IA, el aprendizaje de disparo cero será aún más importante para abordar desafíos complejos en diversos campos.
  instagram viewer

Uno de los mayores objetivos del aprendizaje profundo es entrenar modelos que hayan adquirido conocimientos generalizados. La generalización es esencial porque garantiza que el modelo haya aprendido patrones significativos y pueda hacer predicciones o decisiones precisas cuando se enfrente a datos nuevos o invisibles. Entrenar estos modelos a menudo requiere una cantidad considerable de datos etiquetados. Sin embargo, esos datos pueden resultar costosos, laboriosos y, en ocasiones, imposibles.

Se implementa el aprendizaje de disparo cero para cerrar esta brecha, permitiendo a la IA utilizar su conocimiento existente para hacer predicciones bastante precisas a pesar de la falta de datos etiquetados.

¿Qué es el aprendizaje de tiro cero?

El aprendizaje de disparo cero es un tipo específico de técnica de aprendizaje por transferencia. Se centra en utilizar un modelo previamente entrenado para identificar clases nuevas o nunca antes vistas simplemente proporcionando información adicional que describa los detalles de la nueva clase.

Al utilizar el conocimiento general de un modelo sobre ciertos temas y darle semántica adicional sobre qué buscar, debería poder señalar con bastante precisión qué tema debe identificar.

Digamos que necesitamos identificar una cebra. Sin embargo, no disponemos de un modelo que pueda identificar a estos animales. Entonces, obtenemos un modelo preexistente entrenado para identificar caballos y decirle al modelo que los caballos con rayas blancas y negras son cebras. Cuando comenzamos a inferir el modelo proporcionando imágenes de cebras y caballos, hay muchas posibilidades de que el modelo identifique cada animal correctamente.

Como muchas técnicas de aprendizaje profundo, el aprendizaje de disparo cero imita cómo los humanos aprenden y procesan datos. Se sabe que los seres humanos somos aprendices natos. Si te encargaron encontrar una guitarra de cuerpo hueco en una tienda de música, es posible que tengas problemas para encontrarla. Pero una vez que te diga que un cuerpo hueco es básicamente una guitarra con un agujero en forma de F en uno o ambos lados, probablemente encontrarás uno de inmediato.

Para un ejemplo del mundo real, usemos la aplicación de clasificación de disparo cero de Sitio de alojamiento de LLM de código abierto Hugging Face utilizando el modelo clip-vit-large.

Esta foto muestra una imagen de pan en una bolsa de supermercado atada a una silla alta. Dado que el modelo se entrenó con un gran conjunto de datos de imágenes, es probable que pueda identificar cada elemento de la foto, como pan, comestibles, sillas y cinturones de seguridad.

Ahora, queremos que el modelo clasifique la imagen usando clases nunca antes vistas. En este caso, las clases novedosas o invisibles serían "Pan relajado", "Pan seguro", "Pan sentado", "Conducir la compra de comestibles" y "Comprar comestibles de forma segura".

Tenga en cuenta que hemos utilizado intencionalmente clases e imágenes poco comunes que no se ven para demostrar la efectividad de la clasificación de disparo cero en una imagen.

Después de inferir el modelo, pudo clasificar con alrededor del 80% de certeza que la clasificación más apropiada para el La imagen era "Pan seguro". Esto probablemente se debe a que el modelo piensa que una silla alta es más para seguridad que para sentarse, relajarse o conduciendo.

¡Impresionante! Personalmente, estaría de acuerdo con el resultado del modelo. Pero, ¿cómo exactamente se le ocurrió al modelo tal resultado? A continuación se ofrece una visión general de cómo funciona el aprendizaje de disparo cero.

Cómo funciona el aprendizaje de disparo cero

El aprendizaje de disparo cero puede ayudar a un modelo previamente entrenado a identificar nuevas clases sin proporcionar datos etiquetados. En su forma más simple, el aprendizaje de tiro cero se realiza en tres pasos:

1. Preparación

El aprendizaje de tiro cero comienza con la preparación de tres tipos de datos

• Clase vista: Datos utilizados en el entrenamiento del modelo previamente entrenado. El modelo ya ofrece clases vistas. Los mejores modelos para el aprendizaje de disparo cero son modelos entrenados en clases estrechamente relacionadas con la nueva clase que desea que identifique el modelo.
• Clase invisible/novela: Datos que nunca se utilizaron durante el entrenamiento del modelo. Tendrá que seleccionar estos datos usted mismo, ya que no puede obtenerlos del modelo.
• Datos semánticos/auxiliares: Bits de datos adicionales que pueden ayudar al modelo a identificar la nueva clase. Esto puede ser en palabras, frases, incrustaciones de palabras o nombres de clases.

2. Mapeo Semántico

El siguiente paso es trazar las características de la clase invisible. Esto se hace creando incrustaciones de palabras y haciendo un mapa semántico que vincula los atributos o características de la clase invisible con los datos auxiliares proporcionados. Aprendizaje por transferencia de IA hace que el proceso sea mucho más rápido, ya que muchos atributos relacionados con la clase invisible ya han sido asignados.

3. Inferencia

La inferencia es el uso del modelo para generar predicciones o resultados. En la clasificación de imágenes de disparo cero, las incrustaciones de palabras se generan en la entrada de imagen dada y luego se trazan y comparan con los datos auxiliares. El nivel de certeza dependerá de la similitud entre los datos de entrada y los auxiliares proporcionados.

Cómo el aprendizaje Zero-shot mejora la IA

El aprendizaje de disparo cero mejora los modelos de IA al abordar varios desafíos en el aprendizaje automático, que incluyen:

• Generalización mejorada: Reducir la dependencia de los datos etiquetados permite entrenar los modelos en conjuntos de datos más grandes, mejorando la generalización y haciendo que el modelo sea más robusto y confiable. A medida que los modelos se vuelven más experimentados y generalizados, Incluso puede ser posible que los modelos aprendan el sentido común. en lugar de la forma típica de analizar información.
• Escalabilidad: Los modelos pueden entrenarse continuamente y adquirir más conocimientos mediante el aprendizaje por transferencia. Las empresas y los investigadores independientes pueden mejorar continuamente sus modelos para ser más capaces en el futuro.
• Posibilidad reducida de sobreajuste: El sobreajuste puede ocurrir debido a que el modelo se entrena con un pequeño conjunto de datos que no contiene suficiente variedad para representar todas las entradas posibles. Entrenar el modelo mediante el aprendizaje de disparo cero reduce las posibilidades de sobreajuste al entrenar el modelo para que tenga una mejor comprensión contextual de los temas.
• Económico: Proporcionar una gran cantidad de datos etiquetados puede requerir tiempo y recursos. Al utilizar el aprendizaje por transferencia de disparo cero, se puede entrenar un modelo robusto con mucho menos tiempo y datos etiquetados.

A medida que avance la IA, técnicas como el aprendizaje de disparo cero serán aún más importantes.

El futuro del aprendizaje de tiro cero

El aprendizaje de disparo cero se ha convertido en una parte esencial del aprendizaje automático. Permite que los modelos reconozcan y clasifiquen nuevas clases sin entrenamiento explícito. Con los avances continuos en arquitecturas de modelos, enfoques basados ​​en atributos e integración multimodal, el aprendizaje de tiro cero puede Ayuda significativamente a que los modelos sean mucho más adaptables para abordar desafíos complejos en robótica, atención médica e informática. visión.