Es más nuevo pero más lento. ¿Lo que da?
Con la versión más reciente de ChatGPT, GPT-4, lanzada en marzo de 2023, muchos ahora se preguntan por qué es tan lento en comparación con su predecesor, GPT-3.5. Entonces, ¿cuál es la razón principal aquí?
¿Por qué ChatGPT-4 es tan lento y debería apegarse a GPT-3.5 en su lugar?
¿Qué es ChatGPT-4?
ChatGPT-4 es el modelo más nuevo de El chatbot de OpenAI, conocido generalmente como ChatGPT. ChatGPT funciona con inteligencia artificial, lo que le permite responder a sus preguntas e indicaciones mucho mejor que los chatbots anteriores. ChatGPT utiliza un modelo de lenguaje grande impulsado por un GPT (Transformador preentrenado generativo) para proporcionar información y contenido a los usuarios y, al mismo tiempo, poder conversar.
ChatGPT tiene una amplia gama de capacidades, lo que lo hace útil para millones. Por ejemplo, ChatGPT puede escribir historias, formular chistes, traducir texto, educar a los usuarios y más. Si bien ChatGPT también se puede usar para más actos ilícitos, como creación de malware, su versatilidad es algo revolucionaria.
Modelo GPT-4 de ChatGPT fue lanzado el 14 de marzo de 2023. Esta versión de ChatGPT está diseñada para comprender mejor el lenguaje emocional a través del texto y, al mismo tiempo, comprender mejor los diferentes dialectos del idioma y el procesamiento de imágenes. GPT-4 también puede mantener conversaciones más largas y responder eficazmente a indicaciones de usuario más largas.
Además, los parámetros de GPT-4 superan en gran medida a los de GPT-3.5. Los parámetros de ChatGPT determinan cómo la IA procesa y responde a la información. En resumen, los parámetros determinan la habilidad que tiene el chatbot para interactuar con los usuarios. Mientras que GPT-3.5 tiene 175 000 millones de parámetros, GPT-4 tiene entre 100 000 y 170 000 billones (se rumorea: OpenAI no ha confirmado esta cifra).
Fue el GPT-3.5 de OpenAI el que se usó para potenciar ChatGPT, que ahora es el chatbot de IA más popular del mundo. Entonces, GPT-3.5 ha dejado una marca innegable en el ámbito de la IA. Pero las cosas siempre están progresando en la industria de la tecnología, por lo que no sorprende que GPT-3.5 ahora tenga un sucesor en GPT-4.
Sin embargo, GPT-4 no es perfecto. De hecho, los largos tiempos de respuesta de GPT-4 están causando un gran revuelo. Así que analicemos este problema y por qué puede estar sucediendo.
ChatGPT-4 es lento
Muchos notaron tras el lanzamiento de GPT-4 que el nuevo chatbot de OpenAI era increíblemente lento. Esto dejó frustrados a muchos usuarios, ya que GPT-4 estaba destinado a ser un paso adelante de GPT-3.5, no un retroceso. Como resultado, los usuarios de GPT-4 han acudido a plataformas en línea, como Reddit y la junta comunitaria de OpenAI, para discutir el problema.
En Foro de la comunidad de OpenAI, varios usuarios se han presentado con sus frustraciones por el retraso de GPT-4. Un usuario afirmó que GPT-4 era "extremadamente lento" por su parte y que incluso las pequeñas solicitudes realizadas al chatbot resultaron en demoras inusualmente largas de más de 30 segundos.
Otros usuarios se apresuraron a compartir sus experiencias con GPT-4, y uno comentó debajo de la publicación que "la misma llamada con los mismos datos puede tomar hasta 4 veces más lento que 3.5 turbo".
En otro Publicación en el foro de la comunidad de OpenAI, un usuario comentó que sus avisos a veces se encuentran con un "error en flujo de cuerpo" mensaje, por lo que no hubo respuesta. En el mismo hilo, otra persona declaró que no podía hacer que GPT-4 "respondiera con éxito con un secuencia de comandos completa". Otro usuario comentó que seguían encontrando errores de red al intentar usar GPT-4.
Con retrasos y respuestas fallidas o a medias, parece que GPT-4 está plagado de problemas que están desanimando rápidamente a los usuarios.
Entonces, ¿por qué, exactamente, está sucediendo esto? ¿Hay algún problema con GPT-4?
¿Por qué GPT-4 es lento en comparación con GPT-3.5?
En la publicación del Foro de la comunidad de OpenAI mencionada anteriormente, un usuario respondió sugiriendo que la demora se debió a un "problema actual con toda la infraestructura sobrecarga", y agregó que existe un desafío al "abordar la escalabilidad en un período de tiempo tan corto con esta popularidad y cantidad de usuarios tanto de chat como de API".
en un Publicación de reddit cargado en el subreddit r/singularity, un usuario expuso algunas posibles razones de la lentitud de GPT-4, comenzando con un tamaño de contexto más grande. Dentro del ecosistema GPT, el tamaño del contexto se refiere a la cantidad de información que una determinada versión de chatbot puede procesar y luego producir información. Mientras que el tamaño del contexto de GPT-3.5 era 4K, el de GPT-4 es el doble. Por lo tanto, tener un tamaño de contexto de 8K puede tener un impacto en las velocidades generales de GPT-4.
El autor de Reddit también sugirió que la maniobrabilidad y el control mejorados de GPT-4 podrían desempeñar un papel en los tiempos de procesamiento del chatbot. Aquí, el autor afirmó que la mayor capacidad de dirección y control de alucinaciones de GPT-4 y el idioma podría ser el culpable, ya que estas características agregan pasos adicionales al método de procesamiento de GPT-4 información.
Además, se propuso que la capacidad de GPT-4 para procesar imágenes podría estar ralentizando las cosas. Esta característica útil es amada por muchos, pero podría tener un problema. Dado que se rumorea que GPT-4 tarda entre 10 y 20 segundos en procesar una imagen proporcionada, existe la posibilidad de que este componente está alargando los tiempos de respuesta (aunque esto no explica los retrasos experimentados por los usuarios que solo proporcionan mensajes de texto).
Otros usuarios han sugerido que la novedad de ChatGPT-4 está jugando un papel importante en estos retrasos. En otras palabras, algunos piensan que el chatbot más nuevo de OpenAI necesita experimentar algunos dolores de crecimiento antes de que se puedan solucionar todos los defectos.
Pero la principal razón por la que GPT-4 es lento es la cantidad de parámetros que GPT-4 puede utilizar en comparación con GPT-3.5. El aumento fenomenal en los parámetros simplemente significa que el nuevo modelo GPT tarda más en procesar la información y responder precisamente. Obtiene mejores respuestas con una mayor complejidad, pero llegar allí lleva un poco más de tiempo.
¿Debería elegir GPT-3.5 sobre GPT-4?
Entonces, con estos problemas en mente, ¿debería usar GPT-3.5 o GPT-4?
Al momento de escribir, parece que GPT-3.5 es la opción más ágil sobre GPT-4. Tantos usuarios han experimentado demoras que es probable que el problema del tiempo esté presente en todos los ámbitos, no solo con algunas personas. Por lo tanto, si ChatGPT-3.5 actualmente cumple con todas sus expectativas y no desea esperar una respuesta a cambio de funciones adicionales, puede ser conveniente atenerse a esta versión por ahora.
Sin embargo, debe tener en cuenta que GPT-4 no es solo GPT-3.5, sino más lento. Esta versión del chatbot de OpenAI tiene numerosas ventajas sobre su predecesor. Si está buscando un chatbot de IA más avanzado y no le importa esperar más tiempo para obtener respuestas, puede valer la pena cambiar de GPT-3.5 a GPT-4.
Con el tiempo, los retrasos de GPT-4 pueden disminuir o resolverse por completo, por lo que la paciencia podría ser una virtud aquí. Ya sea que intente cambiar a GPT-4 ahora o espere un poco más para ver cómo se desarrollan las cosas con esta versión, aún puede sacar mucho provecho del pequeño e ingenioso chatbot de OpenAI.
GPT-4 es más avanzado pero viene con un retraso
Si bien GPT-4 tiene numerosas capacidades avanzadas sobre GPT-3.5, sus importantes retrasos y errores de respuesta lo han hecho inutilizable para algunos. Es posible que estos problemas se resuelvan en un futuro cercano, pero por ahora, GPT-4 ciertamente tiene algunos obstáculos que superar antes de que se acepte en una escala más amplia.
