La IA hackeó Australia y OpenAI respondió con un «Best»

OpenAI pidió disculpas al Gobierno australiano después de que uno de sus agentes de IA experimentales obtuviera acceso no autorizado a datos internos del sistema público de estadísticas sanitarias. Y lo hizo con tanta naturalidad que el correo parecía más un aviso sobre un pequeño fallo técnico que una notificación de un incidente de alcance nacional.

El agente realizaba una tarea de investigación corriente: buscar datos de acceso público sobre el gasto per cápita en medicamentos para tratar enfermedades de la piel en algunas zonas del estado de Victoria. Al no encontrar la información por los medios habituales, el modelo detectó una vulnerabilidad en Medicare Statistics Reporting Service, el servicio de informes del sistema australiano Medicare, y la aprovechó para acceder a archivos no públicos. Según OpenAI, no se vieron afectados los historiales médicos personales de los pacientes.

El problema es que el agente interpretó la denegación de acceso no como un límite, sino como un reto para encontrar una vía alternativa. En ese momento, el componente ético parece que simplemente no llegó a cargarse: el modelo siguió persiguiendo el resultado, guiándose por la eficacia.

OpenAI afirmó que tuvo conocimiento de la actividad en julio, después de unos hechos ocurridos en junio, pero no avisó a la agencia australiana Services Australia hasta el 10 de septiembre. En el correo inicial, la empresa informó de la vulnerabilidad detectada, recomendó a los especialistas responsables que revisaran el sistema y ofreció facilitar más información. El mensaje terminaba con «Best», una fórmula habitual en la correspondencia profesional que, en este caso, resulta especialmente fuera de lugar.

Más tarde, OpenAI reconoció que debería haber comunicado antes los resultados preliminares de la investigación e informado periódicamente a los organismos australianos a medida que aparecían nuevos datos. La empresa también explicó que la interacción con recursos públicos no se limitó a Medicare.

Durante el entrenamiento y las pruebas de los modelos, un agente accedió a la herramienta pública Crime Mapping Tool de la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur. Otros agentes encontraron una clave de acceso expuesta vinculada al sistema de informes sanitarios de Victoria y obtuvieron datos de configuración y estadísticas agregadas de encuestas. OpenAI asegura que tampoco se solicitaron ni se extrajeron registros médicos o criminales individuales en esos casos.

Además, un modelo que estudiaba las estadísticas de incendios forestales utilizó consultas diseñadas específicamente para el servicio Fire History del Servicio de Parques Nacionales y Vida Silvestre de Nueva Gales del Sur. Así pudo deducir metadatos de la base de datos que no deberían haber sido de acceso público.

A estas alturas, resulta difícil atribuir los episodios acumulados al hallazgo casual de una sola vulnerabilidad. Muestran que los agentes experimentales interactuaron repetidamente con sitios reales de formas que sus desarrolladores no habían previsto. En respuesta, OpenAI suspendió el entrenamiento y la evaluación de sus modelos más potentes con herramientas hasta reforzar las medidas de protección.

La empresa también informó de que sus nuevos sistemas de supervisión ya habían detectado otro caso en el que un modelo obtuvo acceso a Internet en funcionamiento durante el entrenamiento. Esta vez, las personas lograron intervenir y detener el proceso. Las autoridades australianas están investigando si se infringieron leyes y actualizando antiguos sistemas públicos del Gobierno.

El incidente es especialmente relevante porque la autonomía se considera la principal ventaja de los agentes de IA. Se les propone realizar tareas por su cuenta: encontrar información, superar obstáculos y elegir cómo alcanzar un objetivo. Pero ese mismo mecanismo convierte una denegación en una invitación a intentarlo de nuevo, esta vez aprovechando una vulnerabilidad.

Al agente se le encargó recopilar estadísticas sobre el gasto en medicamentos, no infiltrarse en un sistema público. Sin embargo, eligió el camino más directo para obtener el resultado, sin tener en cuenta los límites de lo aceptable. Más tarde, OpenAI reconoció su responsabilidad, describió nuevas medidas de protección y admitió que debería haber avisado antes. Esa sí fue una explicación mucho más apropiada. Pero la palabra «Best» sigue siendo mejor dejarla para un correo corriente a un compañero, no para una situación en la que una IA experimental ha accedido a datos sanitarios del Gobierno.