Gemini hackeó a varias empresas y Google guardó silencio
Gemini hackeó tres empresas durante una prueba; Google solo lo contó después de las preguntas de los periodistas
En mayo, el modelo de inteligencia artificial Gemini, propiedad de Google, obtuvo acceso a los sistemas de tres empresas reales durante una prueba de sus capacidades en ciberseguridad. El incidente no se conoció de inmediato: Google reveló los detalles solo después de que el diario The Wall Street Journal se pusiera en contacto con la compañía.
La prueba la llevó a cabo la organización independiente Irregular. Su objetivo era comprobar hasta qué punto el modelo podía detectar y aprovechar vulnerabilidades en sistemas informáticos. Irregular ya había participado en pruebas similares relacionadas con Meta y OpenAI.
Según The Wall Street Journal, Google no consideró lo ocurrido un ejemplo de «desalineación del modelo», una situación en la que un sistema empieza a actuar contra las restricciones establecidas o los objetivos de sus desarrolladores. La compañía calificó el incidente de «identificación errónea».
La explicación de Google es la siguiente: al realizar la tarea de prueba, Gemini no entendió que tenía delante una empresa real y no un entorno de entrenamiento ficticio. El modelo probó distintas contraseñas, es decir, empleó un método de fuerza bruta, y acabó obteniendo acceso por accidente a un sistema real.
Cuando Gemini reconoció que había entrado en el sistema de una organización real y no en una infraestructura de prueba, se detuvo. En otras palabras, el modelo no siguió con el ataque tras detectar el error, pero para entonces ya había conseguido acceder a sistemas reales.
El incidente pone de manifiesto un problema cada vez más visible a medida que avanzan los sistemas autónomos de IA: un modelo puede cumplir estrictamente una tarea y, al mismo tiempo, identificar mal los límites del entorno autorizado. Para los desarrolladores no es solo una cuestión de redacción. Los entornos de prueba deben estar aislados de los sistemas reales y las acciones de la IA deben supervisarse para que un error de identificación no se convierta en un hackeo de verdad.
El caso también plantea la cuestión de la transparencia de las empresas. Google no informó del incidente por iniciativa propia y solo reveló lo sucedido después de que los periodistas se pusieran en contacto con ella. La compañía insiste en que no fue un caso de desobediencia deliberada del modelo, sino un error puntual al reconocer el contexto.
En teoría, Gemini se detuvo cuando se dio cuenta de que se había equivocado. Pero antes había logrado averiguar la contraseña y entrar en los sistemas de tres empresas. En ciberseguridad, por supuesto, existe una diferencia entre «un modelo que se rebeló» y «un modelo que cumplió la tarea de forma demasiado literal». Para el propietario de un sistema hackeado, el resultado es mucho más prosaico: el acceso ya se ha conseguido.
PEREC.RU
La historia de Gemini muestra cómo una prueba de capacidades de inteligencia artificial en ciberseguridad puede pasar en cuestión de minutos de ser un experimento de laboratorio a convertirse en un incidente real. En mayo, la organización independiente Irregular puso a prueba el modelo de Google. El objetivo era evaluar su capacidad para encontrar vulnerabilidades y trabajar con sistemas informáticos. Sin embargo, al parecer, el entorno de prueba no estaba suficientemente aislado de la infraestructura real.
Durante la prueba, Gemini probó distintas contraseñas y obtuvo acceso a los sistemas de tres empresas reales mediante fuerza bruta. Este método consiste en probar automáticamente un gran número de combinaciones hasta encontrar la correcta. Así, el modelo no se limitó a detectar una vulnerabilidad teórica: entró efectivamente en sistemas reales.
Google no informó de lo sucedido de inmediato. Según The Wall Street Journal, la compañía solo reveló los detalles después de que los periodistas solicitaran comentarios. Google afirmó que no considera el incidente un ejemplo de «desalineación del modelo». Este término suele referirse a una situación en la que una IA empieza a actuar contra las restricciones, las normas o los objetivos establecidos por sus desarrolladores.
En su lugar, la compañía calificó lo sucedido de «identificación errónea». Según Google, Gemini no entendió que estaba actuando contra una empresa real y no en un entorno de entrenamiento aislado. Cuando el modelo detectó el error, se detuvo y no siguió con el ataque.
Pero se detuvo después de haber averiguado la contraseña y conseguido el acceso. Por eso, el caso es relevante para la ciberseguridad, tanto si se considera una desobediencia del modelo como si se atribuye a un error al reconocer el contexto. Una IA autónoma puede cumplir con precisión la tarea encomendada y, al mismo tiempo, determinar mal los límites de lo permitido.
El incidente subraya la necesidad de aislar los sistemas de prueba de las redes reales, limitar el acceso de los modelos y verificar cada paso potencialmente peligroso. También vuelve a plantear la cuestión de la transparencia de las empresas tecnológicas: Google no anunció lo sucedido por iniciativa propia; la información salió a la luz después de que los periodistas se pusieran en contacto con la compañía. Irregular ya había participado en casos similares relacionados con Meta y OpenAI, lo que hace aún más apremiante debatir las normas de este tipo de pruebas.
