La IA lee y las redes se infectan
Unos investigadores han descubierto una nueva forma de atacar redes corporativas: los ciberdelincuentes pueden aprovechar errores en la documentación que leen los agentes de IA para programar. Se trata de los archivos llms.txt y llms-full.txt, unos formatos de texto relativamente recientes creados para que la inteligencia artificial pueda consultar el contenido de una web con mayor rapidez y precisión.
Si se encarga a un agente de IA instalar un programa o añadir código a un proyecto, puede buscar una solución adecuada en documentos de este tipo por toda la web. El problema es que la documentación puede estar desactualizada, haberse copiado con errores o ser sencillamente una invención de la propia red neuronal. Como resultado, puede contener enlaces a paquetes de software y dominios que en realidad no existen.
Los investigadores comprobaron 6.214 dominios activos relacionados con contratistas de defensa, empresas de la lista Fortune 500 y grandes organizaciones tecnológicas. En esos sitios encontraron 8.265 archivos llms.txt y llms-full.txt. En 120 archivos, cada uno alojado en un sitio distinto, aparecían paquetes de software o nombres de dominio que nadie había registrado.
Las causas pueden ser de lo más corriente: un error humano, el cambio de nombre o el abandono de un paquete, una copia fallida del texto o lo que se conoce como alucinación de la IA: información convincente, pero falsa, generada por una red neuronal.
Para comprobar el riesgo, los investigadores registraron algunos de los dominios y nombres de paquetes disponibles y publicaron allí paquetes de prueba. Tras instalarse, estos enviaban una señal al servidor de los investigadores. En menos de una hora, un cliente de la lista Fortune 500 empezó a conectarse a ese servidor. Poco después se sumaron «varias decenas» de sistemas más.
El experimento demuestra que, si los investigadores pudieron hacerse con nombres olvidados, también podrían hacerlo los ciberdelincuentes, aunque en vez de una señal inocua publicarían un programa malicioso. Si un agente de IA tiene permiso para ejecutar comandos de consola o de un gestor de paquetes y encuentra esa documentación, puede instalar por sí mismo código peligroso en un dispositivo.
Según los investigadores, Claude, Codex de OpenAI y Hermes de Nous Research mostraron un comportamiento vulnerable durante el experimento. Eso no significa que cada instalación realizada con su ayuda sea peligrosa, pero sí demuestra que la documentación puede formar parte de la cadena de ataque.
Para reducir el riesgo, las empresas deben revisar los archivos llms.txt y llms-full.txt, eliminar las entradas obsoletas y no dejar enlaces a recursos no registrados o dudosos. Al mismo tiempo, los agentes de IA no deben tratar la documentación encontrada como una orden que haya que ejecutar sin más. Hasta que este enfoque se convierta en una práctica estándar, las organizaciones deberían extremar la cautela al conceder a los agentes permisos para ejecutar comandos e instalar paquetes.
PEREC.RU
Unos investigadores han detectado el riesgo de que las redes corporativas se infecten a través de errores en la documentación destinada a agentes de IA. Se trata de los archivos llms.txt y llms-full.txt, documentos de texto que ayudan a las redes neuronales a orientarse en el contenido de los sitios web y a encontrar instrucciones para instalar programas o añadir código a proyectos.
En el estudio se examinaron 6.214 dominios activos pertenecientes a contratistas de defensa, empresas de la lista Fortune 500 y grandes organizaciones tecnológicas. En ellos encontraron 8.265 archivos de ese tipo. En 120 documentos había enlaces a paquetes de software o dominios que nadie había registrado.
Estos errores pueden surgir por distintos motivos: una errata, un descuido, el cambio de nombre o el abandono de un paquete, la copia de texto obsoleto o las alucinaciones de la IA, es decir, la aparición en una respuesta de la red neuronal de información plausible, pero inexistente.
Para comprobar si la situación podía aprovecharse para lanzar un ataque, los investigadores registraron algunos de los nombres libres y publicaron paquetes de prueba con ellos. Después de instalarse, los paquetes enviaban una señal al servidor de los investigadores. En menos de una hora empezó a conectarse el sistema de una empresa de la lista Fortune 500. Poco después se sumaron varias decenas de sistemas más.
El experimento mostró una posible vía de ataque. Un ciberdelincuente puede encontrar un paquete sin registrar, apropiarse de su nombre y publicar código malicioso. Si un agente de IA tiene permiso para ejecutar comandos de consola o de un gestor de paquetes y recibe un enlace erróneo en la documentación, puede instalar ese código por su cuenta en un dispositivo o en el entorno corporativo.
Los investigadores afirmaron que Claude, Codex de OpenAI y Hermes de Nous Research mostraron un comportamiento vulnerable. No significa que cada vez que se utilicen se produzca una infección, pero el estudio muestra el peligro que supone combinar documentación poco fiable con permisos excesivos para la IA.
Para protegerse, las empresas deben revisar periódicamente los archivos llms.txt y llms-full.txt, eliminar la información obsoleta y los enlaces a recursos no registrados. Además, los agentes de IA no deben tratar automáticamente la documentación como una instrucción ejecutable. Hasta que existan limitaciones fiables, se recomienda no dar a estos sistemas acceso sin control a la línea de comandos ni a la instalación de programas.
