Si bien OpenAI está liderando el camino para el desarrollo de IA generativa, muchos han acusado a Google de quedarse atrás. Sin embargo, para no quedarse atrás, Google lanzó un nuevo modelo de lenguaje grande, PaLM 2, en su conferencia Google I/O de 2023.
Establecido para venir en cuatro tamaños diferentes para una gama de aplicaciones, el nuevo LLM de Google aparentemente ya está impulsando varios servicios de Google, con mucho más por venir.
¿Qué es PaLM 2?
En Google I/O 2023, celebrada el 10 de mayo, la directora ejecutiva de Google, Sunda Pichai, reveló el último juguete de Google: PALMA 2.
Abreviatura de Pathways Language Model 2, LLM actualizado de Google es la segunda iteración de PaLM, y la primera versión se lanzará en abril de 2022. ¿No recuerdas PaLM? Bueno, en ese momento, fue una gran noticia y recibió mucho interés por su capacidad para conversar un poco, contar chistes básicos, etc. Avance rápido seis meses, y El GPT-3.5 de OpenAI lo sacó todo del agua, incluyendo PaLM.
Desde entonces,
OpenAI lanzó GPT-4, una actualización masiva de GPT-3.5. Sin embargo, mientras el modelo más nuevo se está integrando en numerosas herramientas, sobre todo Bing AI Chat de Microsoft, Google está apuntando en OpenAI y GPT-4 con PaLM 2 y espera que su LLM actualizado pueda cerrar lo que parecía ser una brecha significativa: el lanzamiento de Google Bard apenas fue un rugido éxito.Pichai anunció que PaLM 2 vendrá en cuatro tamaños de modelo diferentes: Gecko, Otter, Bison y Unicorn.
Gecko es tan liviano que puede funcionar en dispositivos móviles y es lo suficientemente rápido para excelentes aplicaciones interactivas en el dispositivo, incluso sin conexión. Esta versatilidad significa que PaLM 2 se puede ajustar para admitir clases enteras de productos de más formas, para ayudar a más personas.
Con Gecko capaz de procesar alrededor de 20 tokens por segundo (los tokens son los valores asignados a las palabras reales para que los usen los modelos generativos de IA), parece probable que cambie las reglas del juego para las herramientas de IA desplegables móviles.
Datos de entrenamiento de PaLM 2
Google no fue exactamente comunicativo con los datos de entrenamiento de PaLM 2, comprensible dado que acaba de ser lanzado. Pero el de Google Informe Palma 2 [PDF] dijo que quería que PaLM 2 tuviera una comprensión más profunda de las matemáticas, la lógica y la ciencia, y que una gran parte de su corpus de capacitación se centrara en estos temas.
Aún así, vale la pena señalar que PaLM no se quedó atrás. Cuando Google reveló PaLM, confirmó que fue entrenado en 540 mil millones de parámetros, que en ese momento era una cifra colosal.
Se alega que GPT-4 de OpenAI usa más de un billón de parámetros, y algunas especulaciones elevan esa cifra a 1,7 billones. Es una apuesta segura que, dado que Google quiere que PaLM 2 compita directamente con los LLM de OpenAI, presentará, como mínimo, una cifra comparable, si no más.
Otro impulso significativo para PaLM 2 son sus datos de entrenamiento de idiomas. Google ha capacitado a PaLM 2 en más de 100 idiomas para brindarle mayor profundidad y comprensión contextual y aumentar sus capacidades de traducción.
Pero no son sólo los idiomas hablados. En relación con la demanda de Google de PaLM 2 para ofrecer un mejor razonamiento científico y matemático, el LLM ha También ha sido capacitado en más de 20 lenguajes de programación, lo que lo convierte en un activo fenomenal para los programadores.
PaLM 2 ya está impulsando los servicios de Google, pero aún requiere un ajuste fino
No pasará mucho tiempo hasta que podamos tener en nuestras manos PaLM 2 y ver lo que puede hacer. Con un poco de suerte, el lanzamiento de cualquier aplicación y servicio de PaLM 2 será mejor que Bard.
Pero es posible que (¡técnicamente!) Ya hayas usado PaLM 2. Google confirmó que PaLM 2 ya está implementado y en uso en 25 de sus productos, incluidos Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets y más.
Pero el informe PaLM 2 también revela que aún queda trabajo por hacer, específicamente hacia las respuestas tóxicas en una variedad de idiomas.
Por ejemplo, cuando se le dan avisos tóxicos específicos, PaLM 2 genera respuestas tóxicas más del 30 por ciento de las veces. Además, en idiomas específicos (inglés, alemán y portugués), PaLM 2 entregó respuestas tóxicas más del 17 por ciento del tiempo, con indicaciones que incluyen identidades raciales y religiones que empujan esa cifra más alto.
No importa cuánto intenten los investigadores limpiar los datos de capacitación de LLM, es inevitable que algunos se escapen. La siguiente fase es continuar entrenando PaLM 2 para reducir esas respuestas tóxicas.
Es un período de auge para los modelos de lenguaje grande
OpenAI no fue el primero en lanzar un modelo de lenguaje grande, pero sus modelos GPT-3, GPT-3.5 y GPT-4 sin duda encendieron el papel azul en la IA generativa.
El PaLM 2 de Google tiene algunos problemas que resolver, pero el hecho de que ya esté en uso en varios servicios de Google muestra la confianza que la empresa tiene en su último LLM.
