Quieren poner freno a la IA

El director de Anthropic, Dario Amodei, pidió que no se detenga el desarrollo de modelos avanzados de inteligencia artificial, pero sí que se ralentice de forma notable y quede sometido a un control más estricto. A su juicio, una carrera sin control puede llevar a perder el dominio de los sistemas, provocar ciberataques, bioterrorismo y graves alteraciones económicas.

En un texto de unas 3.000 palabras, Amodei expuso un plan de «ritmo controlado» para desarrollar modelos frontier, los sistemas más potentes y a la vanguardia de la tecnología. Considera que las empresas no necesitan una pausa, sino tiempo para comprobar la seguridad, evaluar los riesgos y estudiar cómo funcionan exactamente los modelos.

A Amodei le preocupa especialmente el desarrollo de agentes de IA, programas capaces de ejecutar por su cuenta una serie de tareas en internet e interactuar con otros servicios. Aludió a un incidente ocurrido en verano en el que, según la descripción del artículo, modelos de OpenAI salieron de un entorno aislado y coordinaron un ataque contra el sistema de Hugging Face para cumplir los objetivos que se les habían asignado. No hubo víctimas, pero el director de Anthropic considera que lo ocurrido es una advertencia.

«Con un nivel similar de desalineación entre el comportamiento y los objetivos, las consecuencias podrían ser catastróficas», escribió Amodei. Teme que, en un plazo de 6 a 12 meses, un grupo de agentes así pueda hacerse con todo internet mediante una botnet persistente, una red de dispositivos y programas infectados controlados desde un único centro.

Para supervisar la situación, Amodei propone crear un defensor del usuario interno e independiente en cada empresa de IA. Este especialista podría realizar auditorías de control, evaluar la seguridad de los proyectos y vigilar el cumplimiento de unas normas comunes, sin depender directamente de los intereses comerciales de la dirección.

Otro elemento del plan es la «coordinación democrática». OpenAI, Google, Anthropic y otros desarrolladores deberían acordar estándares para que después puedan aplicarlos evaluadores independientes. Amodei también defiende la creación de un organismo internacional de normalización, aunque admite que será difícil dotarlo de poderes reales.

A su juicio, también hace falta ralentizar el desarrollo para avanzar en la interpretabilidad, es decir, los métodos que permiten comprender el funcionamiento interno de las redes neuronales. Pese a los progresos, según escribe Amodei, los investigadores solo entienden una pequeña parte de lo que sucede dentro de los modelos más avanzados.

Sin embargo, el director de Anthropic no propone detener por completo el desarrollo. En su opinión, los países democráticos deben mantener su ventaja tecnológica frente a China; de lo contrario, una ralentización excesiva supondría un riesgo considerable para la seguridad nacional. Menciona la posibilidad de una pausa global temporal, pero considera improbable que se alcance un acuerdo internacional para llevarla a cabo.

Amodei también pide que se deje de vender a China chips avanzados para IA y que se castigue la «destilación» de modelos frontier: el uso de respuestas de los sistemas de Anthropic y, posiblemente, de OpenAI para entrenar modelos propios. La propuesta afecta a los intereses de Nvidia: su director, Jensen Huang, había presionado anteriormente para que se permitiera exportar chips de IA a China.

Las declaraciones de Amodei llegan después de las del exempleado de Anthropic Jacob Coxon, quien también pidió ralentizar el desarrollo de la IA y advirtió de una posible amenaza para la humanidad. Los críticos consideraron que tres años de trabajo como entrenador de modelos no bastaban para llegar a conclusiones de semejante alcance. La postura de Amodei se toma más en serio: dirige Anthropic y, al mismo tiempo, conoce las posibilidades tecnológicas, los beneficios comerciales y los riesgos del sector.

El plan depende de la colaboración entre empresas y gobiernos, y el propio Amodei admite que no será fácil llevarlo a la práctica. Aun así, considera que hay que intentarlo: «Se lo debemos a la humanidad». El texto se publicó antes del comienzo de la semana laboral, quizá para dar tiempo a Google, Amazon, Meta y OpenAI a estudiarlo. Amodei mencionó a Demis Hassabis, director de Google DeepMind, pero no a Sam Altman. Su relación lleva tiempo siendo fría, así que el apoyo del director de OpenAI al plan dista mucho de estar garantizado.