Introducción a LangChain LLM: una guía para principiantes

Con la introducción de modelos de lenguaje extenso (LLM), el procesamiento de lenguaje natural ha sido el tema de conversación de Internet. Diariamente se desarrollan nuevas aplicaciones debido a LLM como ChatGPT y LangChain.

LangChain es un marco Python de código abierto que permite a los desarrolladores desarrollar aplicaciones impulsadas por grandes modelos de lenguaje. Sus aplicaciones son chatbots, resúmenes, preguntas y respuestas generativas, y muchas más.

Este artículo proporcionará una introducción a LangChain LLM. Cubrirá los conceptos básicos, cómo se compara con otros modelos de lenguaje y cómo comenzar a utilizarlo.

Entendiendo el LangChain LLM

Antes de explicar cómo funciona LangChain, primero debe comprender cómo funcionan los modelos de lenguaje grande. Un modelo de lenguaje grande es un tipo de inteligencia artificial (IA) que utiliza el aprendizaje profundo

para entrenar los modelos de aprendizaje automático en big data que consisten en datos textuales, numéricos y de código.

La gran cantidad de datos permite que el modelo aprenda los patrones existentes y las relaciones entre palabras, figuras y símbolos. Esta función permite que el modelo realice una serie de tareas, como:

• Generación de texto, traducción de idiomas, redacción de contenido creativo, técnico y académico, y respuesta precisa y relevante a preguntas.
• Detección de objetos en imágenes.
• Resumen de libros, artículos y trabajos de investigación.

La limitación más significativa de los LLM es que los modelos son muy generales. Esta característica significa que, a pesar de su capacidad para realizar varias tareas con eficacia, a veces pueden proporcionar respuestas generales a preguntas o avisos que requieren experiencia y conocimiento profundo del dominio en lugar de específicos respuestas

Desarrollado por Harrison Chase a fines de 2022, el marco LangChain ofrece un enfoque innovador para los LLM. El proceso comienza preprocesando los textos del conjunto de datos dividiéndolo en partes más pequeñas o resúmenes Luego, los resúmenes se incrustan en un espacio vectorial. El modelo recibe una pregunta, busca en los resúmenes y proporciona la respuesta adecuada.

El método de preprocesamiento de LangChain es una característica crítica que es inevitable a medida que los LLM se vuelven más poderosos y requieren más datos. Este método se utiliza principalmente en casos de búsqueda semántica y de código porque proporciona recopilación e interacción en tiempo real con los LLM.

LLM de LangChain vs. Otros modelos de lenguaje

La siguiente descripción general comparativa tiene como objetivo resaltar las características y capacidades únicas que distinguen a LangChain LLM de otros modelos de idiomas existentes en el mercado:

• Memoria: Varios LLM tienen poca memoria, lo que generalmente resulta en una pérdida de contexto si las solicitudes exceden el límite de memoria. LangChain, sin embargo, proporciona las indicaciones y respuestas de chat anteriores, resolviendo el problema de los límites de memoria. El historial de mensajes permite al usuario repetir los mensajes anteriores al LLM para recapitular el contexto anterior.
• Conmutación LLM: en comparación con otros LLM que bloquean su software con la API de un solo modelo, LangChain proporciona una abstracción que simplifica el cambio de LLM o la integración de varios LLM en su aplicación. Esto es útil cuando desea actualizar las capacidades de su software utilizando un modelo compacto, como StableLM de Stability AI, digamos de GPT-3.5 de OpenAI.
• Integración: Integrar LangChain en su aplicación es fácil en comparación con otros LLM. Proporciona flujos de trabajo de tubería a través de cadenas y agentes, lo que le permite incorporar rápidamente LangChain en su aplicación. En términos de tuberías lineales, las cadenas son objetos que esencialmente conectan numerosas partes. Los agentes son más avanzados, lo que le permite elegir cómo deben interactuar los componentes utilizando la lógica empresarial. Por ejemplo, es posible que desee utilizar la lógica condicional para determinar el siguiente curso de acción en función de los resultados de un LLM.
• Paso de datos: debido a la naturaleza general basada en texto de los LLM, suele ser complicado pasar datos al modelo. LangChain resuelve este problema usando índices. Los índices permiten que una aplicación importe datos en formatos variables y los almacene de manera que sea posible entregarlos fila por fila a un LLM.
• Respuestas: LangChain proporciona herramientas de análisis de salida para dar respuestas en un formato adecuado a diferencia de otros LLM cuyo modelo de respuesta consiste en texto general. Cuando se usa IA en una aplicación, se prefiere tener una respuesta estructurada contra la que pueda programar.

Primeros pasos con LangChain LLM

Ahora aprenderá cómo implementar LangChain en un escenario de caso de uso real para comprender cómo funciona. Antes de comenzar el desarrollo, debe configurar el entorno de desarrollo.

Configuración de su entorno de desarrollo

Primero, crear un entorno virtual e instale las dependencias a continuación:

• IA abierta: Para integrar la API GPT-3 en su aplicación.
• LangChain: Para integrar LangChain en su aplicación.

Usando pip, ejecute el siguiente comando para instalar las dependencias:

 pipenv instalar langchain openai

El comando anterior instala los paquetes y crea un entorno virtual.

Importar las dependencias instaladas

Primero, importa las clases necesarias como LLMCadena, IA abierta, cadena de conversación, y Plantilla de solicitud desde el cadena larga paquete.

de cadena larga importar ConversationChain, OpenAI, PromptTemplate, LLMChain
de langchain.memoria importar ConversaciónBúferVentanaMemoria

Las clases LangChain describen y ejecutan las cadenas del modelo de lenguaje.

Acceder a la clave API de OpenAI

A continuación, obtenga la clave API de OpenAI. Para acceder a la clave API de OpenAI, debe tener una cuenta de OpenAI, luego pasar a la Plataforma API OpenAI.

En el tablero, haga clic en el ícono Perfil. Luego, haga clic en el Ver claves API botón.

A continuación, haga clic en el Crear nueva clave secreta botón para obtener una nueva clave de API.

Introduzca el nombre solicitado de la clave API.

Recibirás un llave secreta inmediato.

Copie y almacene la clave API en un lugar seguro para uso futuro.

Desarrollo de una aplicación usando LangChain LLM

Ahora procederá a desarrollar una aplicación de chat simple de la siguiente manera:

# Personaliza la plantilla LLM 
plantilla = Assistant es un gran modelo de lenguaje entrenado por OpenAI.
{historia}
Humano: {human_input}
Asistente:
solicitud = Plantilla de solicitud (input_variables=["historia", "entrada_humana"], plantilla=plantilla)

A continuación, cargará la cadena ChatGPT utilizando la clave API que almacenó anteriormente.

chatgpt_chain = LLMChain(
 llm=OpenAI(openai_api_key="OPENAI_API_KEY",temperatura=0),
 aviso = aviso,
 detallado =Verdadero,
 memory=ConversationBufferWindowMemory (k=2),
 )
# Predecir una oración usando la cadena chatgpt
salida = chatgpt_chain.predict(
 entrada_humana="¿Qué es MakeUseOf?"
 )
# Mostrar la respuesta del modelo
imprimir (salida)

Este código carga la cadena LLM con la clave API de OpenAI y la plantilla de solicitud. Luego se proporciona la entrada del usuario y se muestra su salida.

Arriba está el resultado esperado.

La creciente influencia de los LLM

El consumo de LLM está creciendo rápidamente y cambiando la forma en que los humanos interactúan con las máquinas de conocimiento. Los marcos como LangChain están a la vanguardia para proporcionar a los desarrolladores una forma sencilla y fluida de servir los LLM a las aplicaciones. Los modelos generativos de IA como ChatGPT, Bard y Hugging Face tampoco se quedan atrás en el avance de las aplicaciones LLM.