ChatGPT es el chatbot de IA innovador de OpenAI que mantiene a Internet asombrado. Contra todas las tendencias tecnológicas establecidas, ChatGPT no ha tardado mucho en encontrar su camino en casi todas las áreas de nuestra vida digital.
Muy pocas innovaciones tecnológicas han despertado tanto interés como lo ha logrado ChatGPT en tan poco tiempo. Parece que nunca se le acaban los trucos geniales: todos los días, aprendemos cosas nuevas y emocionantes que no sabíamos que podía hacer.
Pero, ¿cómo es que ChatGPT puede hacer las cosas que puede hacer? ¿Cómo funciona ChatGPT?
¿Cómo se construyó ChatGPT?
Para entender cómo funciona ChatGPT, vale la pena mirar sus orígenes y el cerebro detrás del chatbot de inteligencia artificial de vanguardia.
En primer lugar, por mágico que parezca ChatGPT, fue construido por el genio de los humanos, al igual que todas las tecnologías de software que valen la pena. OpenAI creó ChatGPT, la revolucionaria empresa de investigación y desarrollo de IA detrás de otras poderosas herramientas de IA como DALL-E, InstructGPT y Codex. hemos respondido anteriormente
algunas preguntas que podrías tener sobre ChatGPT, así que echa un vistazo.Si bien ChatGPT se volvió viral a fines de 2022, la mayor parte de la tecnología subyacente que impulsa a ChatGPT existe desde hace mucho más tiempo, aunque con mucha menos publicidad. El modelo ChatGPT se basa en GPT-3 (o, más específicamente, GPT-3.5). GPT significa "Transformador generativo preentrenado 3".
GPT-3 es la tercera iteración de la línea GPT de modelos de IA y fue precedida por GPT-2 y GPT. Las iteraciones anteriores de los modelos GPT son igualmente útiles, pero GPT-3 y la iteración GPT-3.5 perfeccionada son mucho más potentes. La mayor parte de lo que ChatGPT puede hacer se debe a la tecnología GPT-3 subyacente.
¿Qué es GPT?
Así que hemos establecido que ChatGPT se basa en la tercera generación del modelo GPT. Pero, ¿qué es GPT de todos modos?
Comencemos desglosando los acrónimos de una manera fácil de digerir y no técnica.
- El "generativo" en GPT representa su capacidad para generar texto en lenguaje humano natural.
- El "Pre-entrenado" representa el hecho de que el modelo ya ha sido entrenado en algún conjunto de datos finito. Al igual que si leyera un libro o tal vez varios libros antes de que le pidan que responda preguntas al respecto.
- El "Transformador" representa la arquitectura de aprendizaje automático subyacente que impulsa GPT.
Ahora, juntándolo todo, el Transformador preentrenado generativo (GPT) es un modelo de lenguaje que ha sido capacitado utilizando datos de Internet con el objetivo de generar texto en lenguaje humano cuando se le presenta un inmediato. Entonces, hemos dicho repetidamente que GPT fue entrenado, pero ¿cómo fue entrenado?
¿Cómo se entrenó ChatGPT?
ChatGPT en sí no fue entrenado desde cero. En cambio, es una versión mejorada de GPT-3.5, que a su vez es una versión mejorada de GPT-3. El modelo GPT-3 se entrenó con una gran cantidad de datos recopilados de Internet. Piense en Wikipedia, Twitter y Reddit: se alimentaron de datos y texto humano extraído de todos los rincones de Internet.
Si se pregunta cómo funciona el entrenamiento de GPT, GPT-3 se entrenó mediante una combinación de aprendizaje supervisado y aprendizaje por refuerzo a través de la retroalimentación humana (RLHF). El aprendizaje supervisado es la etapa en la que el modelo se entrena en un gran conjunto de datos de texto extraído de Internet. La etapa de aprendizaje por refuerzo es donde se entrena para producir mejores respuestas que se alinean con lo que los humanos aceptarían como humanos y correctos.
Entrenamiento con aprendizaje supervisado
Para comprender mejor cómo se aplica el aprendizaje supervisado y de refuerzo a ChatGPT, imagine un escenario en el que un maestro le enseña a un estudiante a escribir un ensayo. El aprendizaje supervisado sería el equivalente a que el maestro le dé al estudiante cientos de ensayos para leer. El objetivo aquí es que el estudiante aprenda cómo se debe escribir un ensayo acostumbrándose al tono, el vocabulario y la estructura de cientos de ensayos.
Sin embargo, habrá buenos y malos entre esos cientos de ensayos. Dado que el estudiante fue entrenado en buenas y malas copias, a veces, el estudiante podría escribir un mal ensayo porque el estudiante también recibió malos ensayos en algún momento. Esto significa que cuando se le pide que escriba un ensayo, el estudiante puede escribir una copia que no sea aceptable o lo suficientemente buena para el maestro. Aquí es donde entra el aprendizaje por refuerzo.
Entrenamiento con aprendizaje por refuerzo
Una vez que el maestro establece que el estudiante comprende las reglas generales de la escritura de ensayos al leer cientos de ensayos, el maestro le dará al estudiante tarea frecuente de escritura de ensayos. Posteriormente, el docente brindaría retroalimentación sobre la tarea de redacción de ensayos, diciéndoles a los estudiantes qué hicieron bien y qué podrían mejorar. El estudiante usa la retroalimentación para guiar la tarea posterior de escritura de ensayos, lo que ayuda al estudiante a mejorar con el tiempo.
Esto es similar a la etapa de aprendizaje por refuerzo del entrenamiento del modelo GPT. Después de recibir una gran cantidad de texto extraído de Internet, el modelo puede responder preguntas. Sin embargo, su precisión no va a ser lo suficientemente buena. Los entrenadores humanos le hacen una pregunta al modelo y le dan retroalimentación sobre qué respuesta es más apropiada para cada pregunta.
El modelo utiliza la retroalimentación para mejorar su capacidad de responder preguntas de manera más precisa y más parecida a cómo respondería un humano. Así es como ChatGPT puede generar respuestas que suenan humanas que son coherentes, atractivas y, en general, precisas.
¿Cómo puede ChatGPT responder preguntas?
Entonces, visita el sitio web de ChatGPT e inicia sesión. Le pides a ChatGPT: "escribe una canción de rap al estilo de Snoop Dogg". Responde con la letra de una canción de rap que se parece mucho a lo que escribiría Snoop Dogg. ¿Cómo es esto posible?
Bueno, la "magia" detrás de ChatGPT se relaciona perfectamente con su entrenamiento.
Después de cubrir cada centímetro de su libro de texto Physics 101, es muy probable que pueda responder cualquier pregunta que se le presente. ¿Por qué? Porque lo has leído y lo has aprendido. Es lo mismo con ChatGPT: aprende. Y como ha demostrado la civilización humana, con suficiente entrenamiento, es posible resolver casi cualquier problema.
Si bien es probable que pueda administrar cientos de libros a lo largo de su vida, ChatGPT o GPT ya han consumido una gran parte de Internet. Esa es una gran cantidad de información. Allí, en alguna parte, probablemente haya letras de numerosas canciones de Snoop Dogg. Entonces, por supuesto, ChatGPT debe haberlo consumido (recuerde, está preentrenado) y reconocido patrones en las letras de Snoop Dogg. Luego usaría un "conocimiento" de este patrón para "predecir" la letra de una canción similar a lo que escribiría Snoop Dogg.
El énfasis aquí está en "predecir". ChatGPT no responde preguntas de la misma manera que lo hacemos los humanos. Por ejemplo, ante una pregunta como "¿Cuál es la capital de Portugal?" podrías decir Lisboa y decirlo como un "hecho". Sin embargo, ChatGPT no responde preguntas con 100% de certeza. En cambio, intenta predecir la respuesta correcta dados los datos que ha consumido en su conjunto de datos de entrenamiento.
El enfoque de ChatGPT para responder preguntas
Para comprender mejor el concepto de predecir respuestas, imagine que ChatGPT es un detective encargado de resolver un asesinato. Al detective se le presentan pruebas, pero no saben quién cometió el asesinato y cómo sucedió. Sin embargo, con suficiente evidencia, el detective puede "predecir" con gran precisión quién es el responsable del asesinato y cómo se cometió el crimen.
Después de consumir datos de Internet, ChatGPT descarta los datos originales y almacena conexiones neuronales o patrones que ha aprendido de los datos. Estas conexiones o patrones son como piezas de evidencia que ChatGPT analiza cuando intenta responder a cualquier aviso.
Entonces, en teoría, ChatGPT es como un muy buen detective. No sabe con certeza cuáles deben ser los hechos de una respuesta, pero lo intenta, con impresionantes precisión, para predecir una secuencia lógica de texto en lenguaje humano que respondería más apropiadamente a la pregunta. Así es como obtienes respuestas a tus preguntas.
Y esta es también la razón por la que algunas de esas respuestas parecen muy convincentes pero están terriblemente equivocadas.
ChatGPT: responde como un humano, piensa como una máquina
Los detalles técnicos subyacentes de ChatGPT son complejos. Sin embargo, desde un punto de vista rudimentario, funciona aprendiendo y reproduciendo lo que ha aprendido cuando se le solicita, tal como lo hacemos los humanos.
A medida que ChatGPT evoluciona a través de la investigación, la forma en que funciona puede cambiar. Sin embargo, sus principios básicos de funcionamiento seguirán siendo los mismos durante un tiempo, al menos hasta que aparezca una nueva tecnología disruptiva.
