¿Debería utilizar un LLM local? 9 pros y contras

Desde la llegada de ChatGPT en noviembre de 2022, el término modelo de lenguaje grande (LLM) ha pasado rápidamente de ser un término especializado para los nerds de la IA a una palabra de moda en boca de todos. El mayor atractivo de un LLM local es la capacidad de replicar las capacidades de un chatbot como ChatGPT en su computadora sin el equipaje de una versión alojada en la nube.

Existen argumentos a favor y en contra de configurar un LLM local en su computadora. Dejaremos de exagerar y le brindaremos los hechos. ¿Debería utilizar un LLM local?

Las ventajas de utilizar LLM locales

¿Por qué la gente está tan entusiasmada con la idea de crear la suya propia? grandes modelos de lenguaje en sus computadoras? Más allá de las exageraciones y los derechos de fanfarronear, ¿cuáles son algunos beneficios prácticos?

1. Menos censura

Cuando ChatGPT y Bing AI aparecieron en línea por primera vez, las cosas que ambos chatbots estaban dispuestos a decir y hacer eran tan fascinantes como alarmantes. Bing AI actuó de manera cálida y encantadora, como si tuviera emociones. ChatGPT estaba dispuesto a usar malas palabras si se lo pedías amablemente. En ese momento, ambos chatbots incluso te ayudaban a fabricar una bomba si usabas las indicaciones correctas. Esto puede parecer incorrecto, pero ser capaz de hacer cualquier cosa era emblemático de las capacidades ilimitadas de los modelos lingüísticos que los impulsaban.

Hoy, ambos Los chatbots han sido fuertemente censurados que ni siquiera te ayudarán a escribir una novela policíaca de ficción con escenas violentas. Algunos chatbots de IA ni siquiera hablan de religión o política. Aunque los LLM que puedes configurar localmente no están completamente libres de censura, muchos de ellos harán con gusto las cosas que invitan a la reflexión que los chatbots públicos no harán. Por lo tanto, si no quiere que un robot le dé sermones sobre moralidad cuando discute temas de interés personal, dirigir un LLM local podría ser el camino a seguir.

2. Mejor privacidad de datos

Una de las principales razones por las que las personas optan por un LLM local es para asegurarse de que todo lo que suceda en su computadora permanezca en su computadora. Cuando utiliza un LLM local, es como tener una conversación privada en su sala de estar: nadie de afuera puede escuchar. Ya sea que esté experimentando con los datos de su tarjeta de crédito o teniendo conversaciones personales confidenciales con el LLM, todos los datos resultantes se almacenan únicamente en su computadora. La alternativa es utilizar LLM públicos como GPT-4, que brinda a las empresas a cargo acceso a su información de chat.

3. Uso sin conexión

Dado que Internet es ampliamente asequible y accesible, el acceso fuera de línea puede parecer una razón trivial para utilizar un LLM local. El acceso sin conexión podría volverse especialmente crítico en ubicaciones remotas o aisladas donde el servicio de Internet no es confiable o no está disponible. En tales escenarios, un LLM local que opere independientemente de una conexión a Internet se convierte en una herramienta vital. Te permite continuar haciendo lo que quieras sin interrupciones.

4. Ahorro de costes

El precio promedio de acceder a un LLM capaz como GPT-4 o Claude 2 es de $20 por mes. Aunque puede que no parezca un precio alarmante, todavía existen varias restricciones molestas por esa cantidad. Por ejemplo, con GPT-4, al que se accede a través de ChatGPT, tiene un límite de 50 mensajes por cada tres horas. Sólo puedes superar esos límites si cambiar al plan ChatGPT Enterprise, lo que potencialmente podría costar miles de dólares. Con un LLM local, una vez que haya configurado el software, no tendrá que pagar una suscripción mensual de $20 ni costos recurrentes. Es como comprar un automóvil en lugar de depender de servicios de viajes compartidos. Al principio es caro, pero con el tiempo se ahorra dinero.

5. Mejor personalización

Los chatbots de IA disponibles públicamente tienen una personalización restringida debido a preocupaciones de seguridad y censura. Con un asistente de IA alojado localmente, puede personalizar completamente el modelo para sus necesidades específicas. Puede capacitar al asistente sobre datos propietarios adaptados a sus casos de uso, mejorando la relevancia y la precisión. Por ejemplo, un abogado podría optimizar su IA local para generar conocimientos jurídicos más precisos. El beneficio clave es el control sobre la personalización de sus requisitos únicos.

Las desventajas de utilizar LLM locales

Antes de hacer el cambio, existen algunas desventajas de utilizar un LLM local que debes considerar.

1. Muchos recursos

Para ejecutar un LLM local de alto rendimiento, necesitará hardware de alta gama. Piense en CPU potentes, mucha RAM y probablemente una GPU dedicada. No espere que una computadora portátil con un presupuesto de $ 400 brinde una buena experiencia. Las respuestas serán tremendamente lentas, especialmente con modelos de IA más grandes. Es como ejecutar videojuegos de última generación: necesitas especificaciones sólidas para un rendimiento óptimo. Es posible que incluso necesite soluciones de refrigeración especializadas. La conclusión es que los LLM locales requieren una inversión en hardware de primer nivel para obtener la velocidad y la capacidad de respuesta que disfruta en los LLM basados ​​en la web (o incluso mejorar eso). Las demandas informáticas de su parte serán significativas en comparación con el uso de servicios basados ​​en web.

2. Respuestas más lentas y rendimiento inferior

Una limitación común de los LLM locales son los tiempos de respuesta más lentos. La velocidad exacta depende del modelo de IA específico y del hardware utilizado, pero la mayoría de las configuraciones van por detrás de los servicios en línea. Después de experimentar respuestas instantáneas de ChatGPT, Bard y otros, los LLM locales pueden sentirse sorprendentemente lentos. Las palabras salen lentamente en lugar de ser devueltas rápidamente. Esto no es universalmente cierto, ya que algunas implementaciones locales logran un buen rendimiento. Pero los usuarios promedio enfrentan una fuerte caída en la experiencia web ágil. Por lo tanto, prepárese para un "choque cultural" desde los rápidos sistemas en línea hasta sus equivalentes locales más lentos.

En resumen, a menos que tengas una configuración absolutamente de primera línea (estamos hablando de AMD Ryzen 5800X3D con una Nvidia RTX 4090 y suficiente RAM para hundir un barco), el rendimiento general de su LLM local no se comparará con los chatbots de IA generativa en línea que está solía hacerlo.

3. Configuración compleja

Implementar un LLM local es más complicado que simplemente registrarse en un servicio de inteligencia artificial basado en la web. Con una conexión a Internet, su cuenta ChatGPT, Bard o Bing AI podría estar lista para comenzar a recibir mensajes en minutos. Configurar una pila LLM local completa requiere descargar marcos, configurar la infraestructura e integrar varios componentes. Para modelos más grandes, este complejo proceso puede llevar horas, incluso con herramientas que tienen como objetivo simplificar la instalación. Algunos sistemas de inteligencia artificial de última generación aún requieren una gran experiencia técnica para funcionar localmente. Entonces, a diferencia de los modelos de IA basados ​​en web plug-and-play, administrar su propia IA implica una importante inversión técnica y de tiempo.

4. Conocimiento limitado

Muchos LLM locales están estancados en el pasado. Tienen un conocimiento limitado de los acontecimientos actuales. ¿Recuerdas cuando ChatGPT no podía acceder a Internet? ¿Cuando solo podía dar respuestas a preguntas sobre hechos ocurridos antes de septiembre de 2021? ¿Sí? Bueno, al igual que los primeros modelos ChatGPT, los modelos de lenguaje alojados localmente a menudo se entrenan solo con datos anteriores a una determinada fecha límite. Como resultado, carecen de conocimiento de los acontecimientos recientes posteriores a ese momento.