Google Palm 2 vs. OpenAI GPT-4: ¿Cuál es la diferencia?

Google presentó la próxima generación de su Pathways Language Model (PaLM 2) el 10 de mayo de 2023, en Google I/O 2023. Su nuevo modelo de lenguaje grande (LLM) cuenta con muchas mejoras con respecto a su predecesor (PaLM) y finalmente podría estar listo para enfrentarse a su mayor rival, el GPT-4 de OpenAI.

Pero, ¿cuánta mejora ha hecho Google? ¿Es PaLM 2 lo que marca la diferencia que Google espera que sea y, lo que es más importante, con tantas capacidades similares, en qué se diferencia PaLM 2 de GPT-4 de OpenAI?

Palma 2 vs. GPT-4: descripción general del rendimiento

PaLM 2 está repleto de capacidades nuevas y mejoradas sobre su predecesor. Una de las ventajas únicas que PaLM 2 tiene sobre GPT-4 es el hecho de que está disponible en tamaños más pequeños específicos para ciertas aplicaciones que no tienen tanta potencia de procesamiento integrada.

Todos estos tamaños diferentes tienen sus propios modelos más pequeños llamados Gecko, Otter, Bison y Unicorn, siendo Gecko el más pequeño, seguido de Otter, Bison y, finalmente, Unicorn, el modelo más grande.

Google también afirma una mejora en las capacidades de razonamiento sobre GPT-4 en WinoGrande y DROP, con el primero obteniendo un margen estrecho en ARC-C. Sin embargo, hay una mejora significativa en todos los ámbitos cuando se trata de PaLM y SOTA.

PaLM 2 también es mejor en matemáticas, según el informe de 91 páginas de Google. Trabajo de investigación PaLM 2 [PDF]. Sin embargo, la forma en que Google y OpenAI han estructurado los resultados de sus pruebas dificulta la comparación directa de los dos modelos. Google también omitió algunas comparaciones, probablemente porque PaLM 2 no funcionó tan bien como GPT-4.

En MMLU, GPT-4 obtuvo 86,4, mientras que PaLM 2 obtuvo 81,2. Lo mismo ocurre con HellaSwag, donde GPT-4 anotó 95,3, pero PaLM 2 solo pudo reunir 86,8 y ARC-E, donde GPT-4 y PaLM 2 obtuvieron 96,3 y 89,7, respectivamente.

El modelo más grande de la familia PaLM 2 es PaLM 2-L. Si bien no sabemos su tamaño exacto, sabemos que es significativamente más pequeño que el modelo PaLM más grande, pero usa más computación de entrenamiento. Según Google, PaLM tiene 540 mil millones de parámetros, por lo que el "significativamente más pequeño" debería colocar a PaLM 2 entre 10 y 300 mil millones de parámetros. Tenga en cuenta que estos números son solo suposiciones basadas en lo que Google ha dicho en el documento PaLM 2.

Si este número está cerca de 100 mil millones o menos, lo más probable es que PaLM 2 sea más pequeño en términos de parámetros que GPT-3.5. Considerar que un modelo potencialmente por debajo de los 100 mil millones puede enfrentarse cara a cara con GPT-4 e incluso vencerlo en algunas tareas es impresionante. GPT-3.5 inicialmente sopló todo fuera del agua, incluido PaLM, pero PaLM 2 se ha recuperado bastante.

Diferencias en los datos de entrenamiento de GPT-4 y PaLM 2

Si bien Google no ha revelado el tamaño del conjunto de datos de capacitación de PaLM 2, la compañía informa en su artículo de investigación que el conjunto de datos de capacitación del nuevo LLM es significativamente mayor. OpenAI también adoptó el mismo enfoque cuando presentó GPT-4, sin hacer afirmaciones sobre el tamaño del conjunto de datos de entrenamiento.

Sin embargo, Google quería centrarse en una comprensión más profunda de las matemáticas, la lógica, el razonamiento y la ciencia, lo que significa que una gran parte de los datos de formación de PaLM 2 se centran en los temas antes mencionados. Google dice en su artículo que el corpus de pre-entrenamiento de PaLM 2 se compone de múltiples fuentes, incluidos documentos web, libros, código, matemáticas y datos conversacionales, dándole mejoras en todos los ámbitos, al menos en comparación con Palmera.

Las habilidades de conversación de PaLM 2 también deberían estar en otro nivel considerando que el modelo ha sido entrenado. en más de 100 idiomas para darle una mejor comprensión contextual y una mejor traducción capacidades.

En lo que respecta a la confirmación de los datos de entrenamiento de GPT-4, OpenAI nos ha dicho que ha entrenado el modelo utilizando datos disponibles públicamente y los datos que obtuvo con licencia. Página de investigación de GPT-4 afirma: "Los datos son un corpus de datos a escala web que incluye soluciones correctas e incorrectas a problemas matemáticos, problemas débiles y razonamiento fuerte, afirmaciones autocontradictorias y consistentes, y que representan una gran variedad de ideologías y ideas".

Cuando se le hace una pregunta a GPT-4, puede producir una amplia variedad de respuestas, no todas las cuales pueden ser relevantes para su consulta. Para alinearlo con la intención del usuario, OpenAI ajustó el comportamiento del modelo mediante el aprendizaje por refuerzo con comentarios humanos.

Si bien es posible que no conozcamos los datos de entrenamiento exactos en los que se entrenaron estos modelos, sabemos que la intención del entrenamiento fue muy diferente. Tendremos que esperar y ver cómo esta diferencia en la intención de entrenamiento diferencia los dos modelos en una implementación del mundo real.

Chatbots y servicios PaLM 2 y GPT-4

El primer portal para acceder a ambos LLM está utilizando sus respectivos chatbots, Bard de PaLM 2 y ChatGPT de GPT-4. Dicho esto, GPT-4 está detrás de un muro de pago con ChatGPT Plus, y los usuarios gratuitos solo tienen acceso a GPT-3.5. Bard, por otro lado, es gratuito para todos y está disponible en 180 países.

Eso no quiere decir que tampoco puedas acceder a GPT-4 de forma gratuita. Bing AI Chat de Microsoft usa GPT-4 y es completamente gratuito, abierto a todos y disponible justo al lado de Bing Search, el mayor rival de Google en el espacio.

Google I/O 2023 estuvo lleno de anuncios sobre cómo PaLM 2 y la integración de IA generativa mejorarán Google Workspace experiencia con las funciones de IA que llegan a Google Docs, Sheets, Slides, Gmail y casi todos los servicios que ofrece el gigante de las búsquedas. Además, Google ha confirmado que PaLM 2 ya se ha integrado en más de 25 productos de Google, incluidos Android y YouTube.

En comparación, Microsoft ya ha incorporado funciones de IA al conjunto de programas de Microsoft Office y muchos de sus servicios. Por el momento, puede experimentar ambos LLM en sus propias versiones de ofertas similares de dos compañías rivales que se enfrentan cara a cara en la batalla de la IA.

Sin embargo, dado que GPT-4 salió temprano y ha tenido cuidado de evitar muchos de los errores cometidos por Google con el Bard original, ha sido el LLM de facto para desarrolladores externos, nuevas empresas y casi cualquier otra persona que busque incorporar un modelo de IA capaz en su servicio para que lejos. Tenemos una lista de aplicaciones GPT-4 si desea verlas.

Eso no quiere decir que los desarrolladores no cambiarán o al menos probarán PaLM 2, pero Google todavía tiene que ponerse al día con OpenAI en ese frente. Y el hecho de que PaLM 2 sea de código abierto, en lugar de estar bloqueado detrás de una API paga, significa que tiene el potencial de ser adoptado más ampliamente que GPT-4.

¿Puede PaLM 2 enfrentarse a GPT-4?

PaLM 2 aún es muy nuevo, por lo que la respuesta a si puede o no enfrentarse a GPT-4 aún no se ha respondido. Sin embargo, con todo lo que Google promete y la manera agresiva que ha decidido usar para propagarlo, parece que PaLM 2 puede hacer que GPT-4 corra por su dinero.

Sin embargo, GPT-4 sigue siendo un modelo bastante capaz y, como se mencionó anteriormente, supera a PaLM 2 en bastantes comparaciones. Dicho esto, los múltiples modelos más pequeños de PaLM 2 le dan una ventaja irrefutable. Gecko en sí mismo es tan liviano que puede funcionar en dispositivos móviles, incluso sin conexión. Esto significa que PaLM 2 puede admitir una clase completamente diferente de productos y dispositivos que podrían tener dificultades para usar GPT-4.

La carrera de la IA se está calentando

Con el lanzamiento de PaLM2, la carrera por el dominio de la IA se ha calentado, ya que este podría ser el primer oponente digno en enfrentarse a GPT-4. Con un modelo de IA multimodal más nuevo llamado "Gemini" también en entrenamiento, Google no muestra signos de desaceleración aquí.