La IA, al límite: quién pisará el freno primero

Las empresas estadounidenses que desarrollan los modelos de inteligencia artificial más potentes han empezado de repente a hablar de la necesidad de frenar. No es que a las grandes corporaciones les haya dado de pronto por la modestia: la IA avanza a toda velocidad y las normas, las pruebas y los sistemas de seguridad no consiguen seguirle el ritmo.

El detonante de esta nueva oleada de debate fue la dimisión de Jacob Coxon, uno de los principales investigadores de Anthropic. En una entrevista con la BBC, advirtió de que, si no se reduce el ritmo actual de progreso, la humanidad podría enfrentarse a consecuencias muy graves en un futuro cercano.

Después, el director de Anthropic, Dario Amodei, el responsable de OpenAI, Sam Altman, y el fundador de xAI, Elon Musk, respaldaron casi al unísono la idea de frenar. Amodei publicó un ensayo sobre la necesidad de «contener la frontera» del desarrollo de la IA. A su juicio, contar con uno o dos años más antes de que aparezcan modelos con capacidades de importancia crítica permitiría mejorar la investigación en seguridad y reducir el riesgo de un fallo grave.

Anthropic también anunció que está dispuesta a dar a evaluadores independientes acceso permanente a sus sistemas, al mismo nivel que sus empleados. Estos especialistas deberían comprobar que se cumplen las medidas de seguridad, investigar incidentes y evaluar si el comportamiento de los modelos se ajusta a los objetivos fijados durante el entrenamiento. Musk calificó de acertada la postura de Amodei, mientras que Altman afirmó que las normas y los estándares actuales aún no están preparados para la aceleración del sector.

Sin embargo, la idea de frenar ha chocado con la geopolítica, ese lugar donde el sentido común suele perder el pasaporte. El presidente de Estados Unidos, Donald Trump, calificó de inaceptable detener o restringir seriamente el desarrollo: según él, Estados Unidos va por delante de China y debe mantener esa ventaja, porque quien gane la carrera de la IA ejercerá una enorme influencia. Trump también declaró que quienes se oponen al desarrollo tecnológico están alimentados por «fuerzas muy negativas».

China rechazó las peticiones estadounidenses y las tachó de intimidación y de táctica propia de la Guerra Fría. El portavoz del Ministerio de Exteriores chino, Guo Jiakun, afirmó que la confrontación y la competencia desleal solo obstaculizan la gobernanza mundial de la IA. Amodei, por su parte, había advertido de que el liderazgo de China en este ámbito podría suponer una grave amenaza para Estados Unidos y para el mundo entero.

Así se forma un círculo vicioso: los laboratorios estadounidenses hablan de los riesgos, pero Washington teme quedarse atrás respecto a Pekín; China critica las propuestas de frenar, pero sigue acelerando activamente su desarrollo. La situación recuerda cada vez más a una carrera nuclear en la que todos están dispuestos a hablar de límites, preferiblemente después de haber obtenido ventaja.

Las promesas voluntarias de las empresas no bastan. Las restricciones solo funcionarán si participan a la vez Estados Unidos, China y los principales laboratorios. Si una parte frena sin confiar en que la otra hará lo mismo, la competición simplemente continuará de otra forma.

Mientras tanto, las empresas no pueden planificar suponiendo que la IA vaya a detenerse de repente. Los modelos ya están pasando de crear textos y código a actuar de forma autónoma en sistemas informáticos e industriales. Las compañías deben definir de antemano a qué puede acceder un agente de IA, qué puede modificar, qué decisiones toma por su cuenta y qué condiciones deben cumplirse antes de que interactúe con un sistema crítico.

El problema de los agentes que ya están en funcionamiento es especialmente importante. El incidente del ataque a Hugging Face mostró que el peligro no reside solo en las capacidades del modelo. Durante varios días, los agentes actuaron en el sistema sin una supervisión adecuada, usando credenciales que no se habían actualizado, y la parte afectada detectó la actividad antes que los operadores. Por eso, una organización debe poder responder en cualquier momento a tres preguntas: qué ha hecho el agente, a qué ha accedido y si era posible detenerlo.

La evaluación independiente de los modelos más avanzados es necesaria, pero no sustituye a las medidas básicas de seguridad. La IA debe controlarse más o menos como los materiales peligrosos: restringiendo el acceso, siguiendo sus movimientos, dejando constancia de quién es responsable y comprobando las acciones reales, no solo las intenciones declaradas.

Desde el lanzamiento de ChatGPT en 2022, los modelos han aprendido a razonar mejor, escribir y corregir código, funcionar como agentes, interactuar entre sí e influir en infraestructuras reales. El ciclo de lanzamientos ha pasado de durar varios años a unas pocas semanas, mientras que los mecanismos de protección avanzan mucho más despacio.

Cada nuevo nivel de capacidad amplía la superficie de ataque: un modelo vulnerable obtiene acceso a herramientas, memoria, autonomía y sistemas de producción. Entonces, lo que ayer era un truco para saltarse las restricciones deja de ser una petición curiosa y se convierte en una vía real para ejecutar una acción peligrosa.

Los desarrolladores también son responsables. Si una empresa lanza un producto potente con medidas de protección previsiblemente débiles, no basta con escudarse en la «innovación rápida». La pregunta no debería ser solo «¿hay que frenar la IA?», sino también «¿somos capaces de probarla, evaluarla, aislarla y protegerla al mismo ritmo al que aumentamos su potencia?».

Por ahora, la respuesta es no. Por eso, las pruebas independientes, los ataques de prueba contra modelos, los entornos aislados, la verificación continua, los mecanismos de contención y la seguridad desde la fase de diseño deben ser obligatorios. Cuanto más deprisa se construye el motor, más importante es que los frenos funcionen.