Cómo ejecutar un modelo de lenguaje grande en Linux (y por qué debería hacerlo)

Los modelos de lenguaje grande tienen el potencial de revolucionar la forma en que vive y trabaja, y pueden mantener conversaciones y responder preguntas con un grado variable de precisión.

Para usar uno, normalmente necesitará una cuenta con un proveedor de LLM e iniciar sesión a través de un sitio web o una aplicación dedicada. Pero, ¿sabía que puede ejecutar su propio modelo de lenguaje grande completamente fuera de línea en Linux?

¿Por qué ejecutar un modelo de lenguaje grande en Linux?

Los modelos de lenguaje extenso (LLM, por sus siglas en inglés) están en todas partes en estos días y pueden procesar el lenguaje natural y dar respuestas apropiadas que pueden engañarlo para que piense que un ser humano ha respondido. Microsoft está lanzando una nueva versión de Bing impulsada por IA, mientras que Alfabeto Bard ahora es una parte integral de las búsquedas de Google.

Lejos de los motores de búsqueda, puede usar los llamados "bots de chat de IA" para responder preguntas, componer poesía o incluso hacer su tarea por usted.

Pero al acceder a los LLM en línea, depende de la buena voluntad de un proveedor externo, que puede retirarse en cualquier momento.

También está sujeto a restricciones de uso. Pídele a OpenAI que escriba una novela erótica de 6000 palabras ambientada en la Alemania nazi, por ejemplo, y obtendrás una respuesta como "Me disculpo, pero no podré generar esa historia para ti".

Todo lo que ingrese en los LLM en línea se usa para capacitarlos más, y los datos que desee mantener confidenciales pueden divulgarse en el futuro como parte de una respuesta a la pregunta de otra persona.

También está sujeto a la falta de servicio ya que el sistema está inundado de usuarios y le piden que se suscriba, para que pueda acceder a la plataforma cuando la demanda es alta.

Dalai es una implementación gratuita y de código abierto de LLaMa LLM de Meta y Alpaca de Stanford. Se ejecutará cómodamente en un hardware modesto y proporciona una interfaz web práctica y una variedad de plantillas de solicitud, para que pueda preguntar lo que sea. quieres, sin miedo a que un administrador cierre tu cuenta, el LLM se niegue a contestar, o tu conexión se corte gota.

Cuando instala un LLM localmente en Linux, es suyo y puede usarlo como quiera.

Cómo instalar Dalai en Linux

La forma más fácil de instalar Dalai en Linux es usar Docker y Docker Compose. Si aún no los tiene, consulte nuestra guía sobre cómo instalar Docker y Docker Compose.

Con eso fuera del camino, está listo para comenzar a instalar Dalai. Clone el repositorio de Dalai GitHub y use el comando cd para acceder a él:

clonar https://github.com/cocktailpeanut/dalai.git && CD Dalai

Para poner a Dalai en funcionamiento con una interfaz web, primero, cree el archivo Docker Compose:

compilación docker-compose

Docker Compose descargará e instalará Python 3.11, Node Version Manager (NVM) y Node.js.

En la etapa siete de nueve, la compilación parecerá congelarse cuando Docker Compose descargue Dalai. No se preocupe: verifique el uso de su ancho de banda para estar seguro de que algo está pasando y simula la evolución de organismos virtuales en tu terminal mientras esperas.

Eventualmente, volverá al símbolo del sistema.

Dalai y los modelos LLaMa/Alpaca requieren mucha memoria para ejecutarse. Si bien no hay ninguna especificación oficial, una buena guía aproximada es 4 GB para el modelo 7B, 8 GB para el modelo 13B, 16 GB para el modelo 30B y 32 GB para el modelo 65B.

Los modelos Alpaca son relativamente pequeños, con el modelo 13B alcanzando unos modestos 7,6 GB, pero los pesos LLaMA pueden ser enormes: la descarga equivalente a 13B viene en 60,21 GB, y el modelo 65B ocupará medio terabyte épico en su disco disco.

Decida qué modelo es el más adecuado para sus recursos y use el siguiente comando para instalarlo:

docker-compose ejecutar dalai npx dalai alpaca instalar 13B

O:

docker-compose ejecutar dalai npx dalai llama instalar 13B

Existe la posibilidad de que los modelos descargados a través de Dalai estén dañados. Si este es el caso, tómalos de cara de abrazo en cambio.

Una vez que haya regresado al símbolo del sistema, abra Docker Compose en modo separado:

ventana acoplable-componer hasta -d

Compruebe si el contenedor funciona correctamente con:

docker-componer ps

Si todo funciona como debería, abra un navegador web e ingrese servidor local: 3000 en la barra de direcciones.

Diviértete con tu propio modelo de lenguaje grande en Linux

Cuando se abra la interfaz web, verá un cuadro de texto en el que puede escribir sus indicaciones.

Escribir avisos efectivos es difícil, y los desarrolladores de Dalai han proporcionado una variedad de plantillas que lo ayudarán a obtener una respuesta útil de Dalai.

Estos son Diálogo AI, bot conversacional, Por defecto, Instrucción, Volver a escribir, Traducir, y Tweet-sentimiento.

Como era de esperar, el Diálogo AI y bot conversacional las plantillas están estructuradas de una manera que le permite mantener una especie de conversación con el LLM. La principal diferencia entre los dos es que se supone que el chatbot es "muy inteligente", mientras que AI-Dialog es "útil, amable, obediente, honesto y conoce sus propios límites".

Por supuesto, esta es su "IA" y, si lo desea, puede modificar el aviso para que el chatbot sea tonto y las características del diálogo de la IA sean "sádicas" e "inútiles". Tu decides.

Probamos el Traducir función copiando el párrafo inicial de una noticia de la BBC y pidiéndole a Dalai que lo traduzca al español. La traducción fue buena, y cuando la revisamos a través de Google Translate para volver a convertirla al inglés, descubrimos que era bastante legible y reflejaba los hechos y el sentimiento de la pieza original.

Asimismo, el Volver a escribir plantilla convirtió el texto de manera convincente en la apertura de un nuevo artículo.

El Por defecto y Instrucción las indicaciones están estructuradas para ayudarlo a hacer preguntas o instruir directamente a Dalai.

La precisión de la respuesta de Dalai variará mucho según el modelo que estés usando. Un modelo 30B será mucho más útil que un modelo 7B. Pero incluso entonces, recuerda que los LLM son simplemente sistemas sofisticados para adivinar la siguiente palabra en una oración.

Ni los modelos 7B ni 13B Alpaca pudieron proporcionar un resumen preciso de 200 palabras del cuento "Gato en el Rain" de Ernest Hemingway, y ambos componían argumentos y detalles completamente convincentes sobre lo que la historia contenido.

Y mientras que el AI-Dialog "útil, amable, obediente y honesto" que "conoce sus propios límites" y el chatbot "altamente inteligente" se resistirán a indicaciones controvertidas, puede darle a Dalai una instrucción directa o una solicitud predeterminada, y escribirá lo que quiera, como quiera él.

Un modelo de lenguaje grande en su máquina Linux es suyo

Al ejecutar un modelo de lenguaje grande en su propia caja de Linux, no está sujeto a supervisión o retiro del servicio. Puede usarlo como mejor le parezca sin temor a las consecuencias por violar una política de contenido corporativo.

Si sus recursos informáticos son pocos, incluso puede ejecutar un LLM localmente en un humilde Raspberry Pi.