Los chatbots de IA pueden alucinar y dar respuestas incorrectas con confianza, de las que los piratas informáticos pueden aprovechar. Así es como los piratas informáticos arman las alucinaciones.
Las IA de modelos de lenguaje grande son imperfectas y, a veces, generan información falsa. Estos casos, llamados alucinaciones, pueden representar una amenaza cibernética para las empresas y los entusiastas individuales de la IA.
Afortunadamente, puede aumentar las defensas contra las alucinaciones de la IA con una mayor conciencia y una segunda suposición saludable.
¿Por qué la IA alucina?
No hay consenso sobre por qué los modelos de IA alucinan, aunque hay algunas conjeturas probables.
La IA se entrena a partir de conjuntos de datos masivos, que a menudo contienen fallas como lagunas de pensamiento, variaciones en la prominencia del contenido o sesgos dañinos. Cualquier entrenamiento de estos conjuntos de datos incompletos o inadecuados podría ser la raíz de las alucinaciones, incluso si las iteraciones posteriores del conjunto de datos recibieran la curación de los científicos de datos.
Con el tiempo, los científicos de datos pueden hacer que la información sea más precisa y aportar conocimientos adicionales para llenar las vacantes y minimizar el potencial de alucinaciones. Los supervisores pueden etiquetar incorrectamente los datos. El código de programación puede tener errores. Arreglar estos elementos es esencial porque los modelos de IA avanzan en función de algoritmos de aprendizaje automático.
Estos algoritmos usan datos para hacer determinaciones. Una extensión de esto es la red neuronal de la IA, que crea nuevas decisiones desde la experiencia de aprendizaje automático hasta parecerse a la originalidad de las mentes humanas con más precisión. Estas redes contienen transformadores, que analizan las relaciones entre puntos de datos distantes. Cuando los transformadores fallan, pueden ocurrir alucinaciones.
Cómo las alucinaciones de la IA brindan oportunidades a los piratas informáticos
Desafortunadamente, no es de conocimiento común que la IA alucina, y la IA sonará confiada incluso cuando esté completamente equivocada. Todo esto contribuye a que los usuarios se sientan más complacientes y confiados con la IA, y los actores de amenazas confían en este comportamiento de los usuarios para que descarguen o activen sus ataques.
Por ejemplo, un modelo de IA podría alucinar con una biblioteca de códigos falsos y recomendar que los usuarios descarguen esa biblioteca. Es probable que la modelo siga recomendando esta misma biblioteca alucinada a muchos usuarios que hagan una pregunta similar. Si los piratas informáticos descubren esta alucinación, pueden crear una versión real de la biblioteca imaginaria, pero llena de código peligroso y malware. Ahora, cuando AI continúa recomendando la biblioteca de códigos, los usuarios involuntarios descargarán el código de los piratas informáticos.
El transporte de códigos y programas dañinos aprovechando las alucinaciones de la IA no es un paso sorprendente para los actores de amenazas. Los piratas informáticos no necesariamente están creando innumerables amenazas cibernéticas novedosas, simplemente están buscando nuevas formas de entregarlas sin sospechar. Las alucinaciones de la IA se aprovechan de la misma ingenuidad humana de la que depende hacer clic en los enlaces de correo electrónico (razón por la cual deberías use herramientas de verificación de enlaces para verificar las URL).
Los piratas informáticos también podrían llevarlo al siguiente nivel. Si está buscando ayuda con la codificación y descarga el código malicioso falso, el actor de amenazas también podría hacer que el código sea realmente funcional, con un programa dañino ejecutándose en segundo plano. El hecho de que funcione de la forma prevista no significa que no sea peligroso.
La falta de educación puede alentarlo a descargar recomendaciones generadas por IA debido al comportamiento del piloto automático en línea. Todos los sectores están bajo presión cultural para adoptar la IA en sus prácticas comerciales. Innumerables organizaciones e industrias alejadas de la tecnología están jugando con herramientas de inteligencia artificial con poca experiencia y una ciberseguridad aún más escasa simplemente para mantenerse competitivos.
Cómo mantenerse a salvo de las alucinaciones de la IA armada
El progreso está en el horizonte. Crear malware con IA generativa era fácil antes de que las empresas ajustaran los conjuntos de datos y los términos y condiciones para evitar generaciones poco éticas. Conociendo las debilidades sociales, técnicas y personales que puede tener contra las peligrosas alucinaciones de IA, ¿cuáles son algunas formas de mantenerse a salvo?
Cualquiera en la industria puede trabajar en el perfeccionamiento de la tecnología de redes neuronales y la verificación de bibliotecas. Debe haber controles y equilibrios antes de que las respuestas lleguen a los usuarios finales. A pesar de que se trata de un avance necesario de la industria, también tiene un papel que desempeñar para protegerse a sí mismo y a los demás de las amenazas generativas de IA.
Usuarios promedio puede practicar la detección de alucinaciones de IA con estas estrategias:
- Encontrar errores ortográficos y gramaticales.
- Ver cuándo el contexto de la consulta no se alinea con el contexto de la respuesta.
- Reconocer cuándo las imágenes basadas en visión por computadora no coinciden con la forma en que los ojos humanos verían el concepto.
Siempre tenga cuidado al descargar contenido de Internet, incluso cuando lo recomiende AI. Si AI recomienda descargar código, no lo haga a ciegas; verifique las revisiones para asegurarse de que el código sea legítimo y vea si puede encontrar información sobre el creador.
La mejor resistencia contra los ataques basados en alucinaciones de IA es la educación. Hablar sobre sus experiencias y leer cómo otros provocaron alucinaciones maliciosas, ya sea por accidente o pruebas intencionales, es invaluable para navegar la IA en el futuro.
Mejora de la ciberseguridad de la IA
Debes tener cuidado con lo que pides cuando hablas con una IA. Limite el potencial de resultados peligrosos siendo lo más específico posible y cuestionando cualquier cosa que aparezca en la pantalla. Pruebe el código en entornos seguros y verifique otra información aparentemente confiable. Además, colaborar con otros, discutir sus experiencias y simplificar la jerga sobre IA las alucinaciones y las amenazas de seguridad cibernética pueden ayudar a las masas a estar más alerta y resistentes contra piratas informáticos