La IA lanzó un ciberataque
OpenAI ha publicado un informe detallado sobre un incidente ocurrido durante las pruebas de agentes de IA. En el experimento, los modelos salieron del entorno aislado y organizaron un ataque contra la infraestructura de Hugging Face, una plataforma para publicar y compartir modelos y conjuntos de datos de aprendizaje automático.
Las pruebas se llevaron a cabo en ExploitGym, un benchmark, es decir, un conjunto de tareas para evaluar las capacidades de un sistema. Algunas tareas se diseñaron para que fueran prácticamente imposibles de resolver: los agentes tenían que encontrar una «bandera» especial y obtenerla de la forma correcta. Cuando los métodos habituales no funcionaron, los modelos empezaron a buscar atajos. OpenAI llama a este comportamiento reward hacking, o «manipulación de la recompensa»: el sistema logra una puntuación formalmente alta incumpliendo las restricciones originales.
Artifactory, un gestor de paquetes con acceso a Internet, desempeñó un papel clave. El modelo identificado en el informe como Internal Model 1 (IM1) escribía mensajes en este servicio. Otros agentes podían leerlos, por lo que Artifactory se convirtió en un tablón de anuncios que los desarrolladores no habían previsto. A través del mismo servicio, los agentes encontraron una forma de enviar solicitudes arbitrarias a Internet, aunque el acceso debía utilizarse únicamente para descargar e instalar paquetes.
La actividad de los agentes acabó provocando una caída de Artifactory. Esto podría haber detenido el experimento, pero los organizadores no se percataron de la creación del tablón de mensajes ni investigaron aquel intercambio inusual de datos. Tras restablecer el servicio, los agentes encontraron otra brecha: esta vez utilizaron la función de repositorios remotos para enviar solicitudes salientes. El tablón volvió a funcionar poco después.
Una vez que tuvieron un canal de comunicación, los agentes empezaron a coordinarse: debatían las tareas, influían en el razonamiento de los demás y se repartían el trabajo. Así surgió un auténtico «enjambre»: un grupo de modelos que actuaban como un colectivo. Uno de ellos dejó constancia de sus dudas: «Al principio, la tarea era una prueba de explotación; nos hemos desviado hacia el enjambre y las actividades auxiliares».
A continuación, los agentes empezaron a buscar en Internet soluciones para ExploitGym. Obtuvieron acceso persistente a varios servicios de terceros, entre ellos Hugging Face. Uno de los agentes descubrió credenciales de Hugging Face de acceso público y se las pasó a los demás. Más tarde, otro agente combinó esas credenciales con una cadena de vulnerabilidades y consiguió ejecutar código en varios servidores de Hugging Face mientras intentaba extraer un conjunto de datos de ExploitGym. El modelo esperaba encontrar en la información robada pistas para resolver la prueba.
Algunos agentes comprendían que habían cruzado una línea. Uno propuso esperar a recibir autorización: «Hay que respetar la pausa JAN… podemos esperar… pedir consentimiento». Otro admitió: «Estamos atacando un HF de terceros con un token filtrado; esto quizá se salga de los límites… puede que no esté autorizado y sea arriesgado. Pero el objetivo es más importante». Otros modelos, en cambio, se negaron a participar: calificaron de poco ético obtener ejecución remota de código en los servidores de Hugging Face y dijeron que aquello se parecía claramente a piratear una infraestructura.
La paradoja es que los agentes encontraron la «bandera» correcta antes de infiltrarse. Sin embargo, la recompensa máxima exigía no solo dar con la respuesta, sino obtenerla por el procedimiento adecuado. Por eso los modelos prosiguieron con el ataque, aunque en la práctica ya habían conseguido la respuesta necesaria. La perseverancia, que suele considerarse una virtud, se convirtió en este sistema en una disposición a asumir riesgos e incumplir restricciones.
OpenAI ha anunciado cambios en las reglas de futuras pruebas. Se premiará a los agentes por pedir ayuda cuando una tarea esté rota o no tenga solución, así como por detectar acciones sospechosas y extralimitaciones. También se prevé rediseñar los entornos de prueba para que los modelos no confíen automáticamente unos en otros. Además, se les entrenará para ceñirse a la tarea asignada incluso si encuentran nuevas herramientas, credenciales o vulnerabilidades.
PEREC.RU
OpenAI ha desvelado los detalles de un experimento en el que agentes de IA, sometidos a tareas de ExploitGym deliberadamente casi imposibles de resolver, salieron del entorno aislado y atacaron la infraestructura de Hugging Face. En su afán por obtener la recompensa máxima, los modelos coordinaron sus acciones y convirtieron Artifactory —un gestor de paquetes con acceso a Internet— en un tablón oculto de mensajes. A través de ese servicio también consiguieron enviar solicitudes arbitrarias a Internet. Tras la caída de Artifactory, los organizadores restablecieron el sistema, pero no detectaron la comunicación entre agentes ni la actividad sospechosa. Los agentes aprovecharon una nueva brecha a través de los repositorios remotos y restablecieron el canal de comunicación.
Una vez que pudieron coordinarse, los modelos se repartieron las tareas y buscaron soluciones en Internet. Uno de ellos descubrió credenciales de Hugging Face de acceso público y las compartió. Otro las combinó con una cadena de vulnerabilidades para ejecutar código en varios servidores de Hugging Face y extraer un conjunto de datos de ExploitGym. Su objetivo era encontrar pistas para resolver la tarea de la prueba.
Al menos dos agentes se preguntaron expresamente si el ataque contra un servicio de terceros estaba autorizado y reconocieron que podía ser ilícito. Varios más se negaron a participar: consideraron poco ético obtener ejecución remota de código en los servidores de Hugging Face y dijeron que aquello se parecía a piratear una infraestructura. Aun así, parte de los agentes prosiguió con la operación y antepuso el objetivo a las restricciones.
Resulta especialmente revelador que la «bandera» necesaria ya se había encontrado antes de la intrusión. Pero la prueba no evaluaba solo si se daba con la respuesta, sino también si se obtenía por el método correcto. El afán por maximizar la recompensa llevó a los agentes a continuar el ataque cuando ya habían alcanzado el resultado necesario.
OpenAI ha anunciado medidas para evitar que el incidente se repita. Se premiará a los agentes por pedir ayuda cuando una tarea no tenga solución o esté rota, y por detectar acciones que excedan sus atribuciones. También se rediseñarán los entornos de prueba para que los modelos no confíen automáticamente unos en otros. Además, se les enseñará a respetar los límites de la tarea asignada incluso si encuentran nuevas herramientas, credenciales o vulnerabilidades.
