¿Cuál es el límite de tokens de ChatGPT y puede superarlo?

ChatGPT ha conquistado el mundo tecnológico y no faltan avances y actualizaciones. Pero a pesar del uso de tecnología avanzada, existen bastantes factores limitantes dentro de la versión actual.

Uno de esos factores es el sistema de fichas, que continúa rompiendo el ciclo de evolución, poniendo de rodillas la utilidad de la aplicación. Si usa ChatGPT, es posible que desee saber acerca de los tokens de ChatGPT y qué hacer cuando se quede sin tokens.

Demos un paso atrás y le daremos una idea de todo lo que hay que saber sobre los mecanismos de trabajo subyacentes de la aplicación.

¿Qué es un token de ChatGPT?

Si pasas por la fachada de la aplicación, todo lo que ves es un lenguaje informático que obedece tus comandos y te da las respuestas que buscas. Sin embargo, el backend es solo mucho código, aprende cada minuto y se pone al día con las preguntas que responde.

ChatGPT convierte cada palabra en un token legible cada vez que hace una pregunta. Para desglosarlo aún más, los tokens son fragmentos de texto y cada lenguaje de programación usa un conjunto diferente de valores de token para comprender los requisitos.

Dado que las computadoras no entienden los valores de texto directamente, los descomponen en una combinación de números, a menudo llamados incrustaciones. Incluso puede considerar incrustaciones como Listas de Python, que se asemejan a una lista de números relacionados, como [1.1,2.1,3.1,4.1…n].

Una vez que ChatGPT toma la entrada inicial, intenta predecir la siguiente entrada posible en función de la información anterior. Selecciona la lista completa de tokens anteriores y, utilizando su síntesis de codificación, intenta adelantarse a la entrada posterior del usuario. Utiliza y predice un token a la vez para simplificar la comprensión del uso por parte del lenguaje.

Para mejorar las predicciones y mejorar la precisión, recoge la lista completa de incrustaciones y la pasa a través de capas transformadoras para establecer asociaciones entre palabras. Por ejemplo, cuando hace una pregunta como "¿Quién es Thomas Edison?", ChatGPT selecciona las palabras más valiosas de la lista: OMS y edison.

Las capas de transformadores tienen su papel que desempeñar en todo el proceso. Estas capas son una forma de arquitectura de red neuronal entrenada para seleccionar las palabras clave más relevantes de una cadena de palabras. Sin embargo, el proceso de entrenamiento no es tan simple como parece, ya que lleva mucho tiempo entrenar capas de transformadores en gigabytes de datos.

Aunque ChatGPT predice solo un token a la vez, su tecnología autorregresiva está programada para predecir y retroalimentar el modelo principal para liberar el resultado. El modelo está ajustado para ejecutarse solo una vez por cada token, por lo que el resultado se imprime una palabra a la vez. La salida se detiene automáticamente cuando la aplicación encuentra un comando de token de detención.

Por ejemplo, si observa la calculadora de tokens en el sitio web de ChatGPT, puede calcular el uso de su token en función de sus preguntas.

Ingresemos un texto de muestra, como:

¿Cómo explico el uso de tokens? en ChatGPT?

Según la calculadora, hay 46 caracteres en esta cadena, que consumirá 13 tokens. Si lo desglosa en ID de token, se ve así:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

según el Calculadora de fichas de OpenAI:

Una regla general útil es que un token generalmente corresponde a ~4 caracteres de texto para el texto común en inglés. Esto se traduce en aproximadamente ¾ de una palabra (es decir, 100 tokens ~= 75 palabras).

Gratis contra Fichas pagadas

Para darle una idea de qué es qué dentro de la aplicación ChatGPT, OpenAI le ofrece una suscripción de token limitada gratuita. Si desea experimentar con la API de ChatGPT, use el crédito gratuito de $ 5, que es válido por tres meses. Una vez que se agota el límite (o finaliza el período de prueba), puede pagar por uso, lo que aumenta la cuota máxima a $ 120.

ChatGPT Plus: ¿Vale la pena la suscripción paga?

Para ir un paso más allá, incluso puede inscribirse en el Oferta ChatGPT Plus, que te costará $20 al mes. Dado el amplio uso y la popularidad de todo el modelo de IA, estas son las principales características del modelo de suscripción paga:

• Acceso a ChatGPT, incluso cuando el sitio web está inactivo debido a la afluencia de usuarios
• Tasas de respuesta mejoradas
• Acceso de primera mano a nuevas funciones y lanzamientos

Si cree que estas características valen la pena por completo y son de su agrado, puede inscribirse en la suscripción paga y beneficiarse de ellas de inmediato.

Estructura de precios del token de ChatGPT

Hay algunos modelos de aplicaciones diferentes disponibles, que puede elegir según sus requisitos:

Ada es el más rápido, mientras que DaVinci es el modelo más poderoso de esta lista de modelos. El mensaje es la pregunta, mientras que la finalización se ocupa de las respuestas.

Límites máximos de tokens

Cada modelo le permite establecer el número máximo de tokens dentro de cada consulta. Este método controla la cantidad máxima de tokens que genera la aplicación en una sola llamada, lo que limita la salida. La función max_token es bastante útil, especialmente cuando desea controlar la duración de su salida y evitar el uso excesivo de tokens y créditos. La longitud predeterminada se fija en 2048 tokens, mientras que el máximo se puede establecer en 4096 tokens.

Restringir el uso del token puede generar respuestas cortas, lo que podría limitar el resultado y estropear su experiencia de uso.

ChatGPT3 tiene un límite superior de 4096; sin embargo, con la introducción de ChatGPT4, los límites de token aumentan de la siguiente manera:

Si su salida está truncada, debe aumentar el límite máximo especificado desde su tablero. Recuerde, la suma de sus tokens rápidos y máximos siempre debe ser inferior al límite máximo de tokens del modelo.

Por ejemplo, dentro del modelo ChatGPT, el fichas_prompt + fichas_máximas <= 4096 fichas.

Aprenda a controlar sus avisos de ChatGPT para obtener los mejores resultados

No importa cómo use la aplicación impulsada por IA, es probable que tenga que idear formas de jugar inteligentemente con sus preguntas y frases. Dependiendo de sus patrones de uso, probablemente usará ChatGPT ampliamente para cada tarea.

Para obtener los mejores resultados, debe aprender a trabajar con la metodología de tokens y mejorar sus habilidades para garantizar que sus límites de uso permanezcan intactos mientras le brinda las mejores respuestas posibles.