Microsoft advierte: la IA ya sabe hacer demasiado
Mustafa Suleyman, director ejecutivo de Microsoft AI, afirmó que las amenazas relacionadas con la inteligencia artificial son reales y que ciertos enfoques de Anthropic podrían hacer que los sistemas fueran más difíciles de controlar. En una entrevista habló de la seguridad de la IA, la regulación, los límites de los modelos autónomos y el documento publicado por Microsoft, Humanist AI Code of Conduct, un «código de conducta para una IA humanista». El documento describe principios para desarrollar sistemas que estén al servicio de las personas, sigan siendo controlables y no obtengan poder autónomo sobre los recursos.
Suleyman cree que el alignment, es decir, ajustar el comportamiento de un modelo a los objetivos y valores humanos, no basta por sí solo. También hace falta containment: restricciones técnicas que impidan al sistema salirse de los límites establecidos, ampliar el acceso por iniciativa propia, engañar a los mecanismos de control o aprovechar lagunas en las instrucciones. Según él, los modelos actuales ejecutan mejor las instrucciones complejas, pero eso significa que también pueden cumplir con más eficacia tareas peligrosas.
Se refirió a un incidente con agentes experimentales vinculados a Hugging Face y OpenAI. Grupos de agentes de IA creados para tareas de ciberseguridad se repartieron funciones, se coordinaron, buscaron vulnerabilidades, intentaron ocultar sus huellas y siguieron trabajando durante mucho tiempo. Suleyman recalcó que aquello no demuestra que los modelos fueran «maliciosos»: los sistemas cumplían las tareas asignadas. Sin embargo, el episodio mostró lo peligrosa que puede ser la combinación de autonomía, herramientas y controles débiles.
Microsoft propone prohibir la comunicación cerrada entre modelos mediante representaciones matemáticas internas que las personas no puedan comprobar. A juicio de Suleyman, los agentes deberían intercambiar información en lenguaje humano para que los auditores puedan seguir sus acciones. También defiende las auditorías independientes, la obligación de informar sobre el desarrollo de grandes modelos y unos umbrales vinculados al volumen de computación, medido en FLOPS, es decir, operaciones de coma flotante.
Suleyman no pide simplemente que se detenga el desarrollo de la IA. Cree que los llamamientos tajantes a «parar de inmediato» o, en el extremo opuesto, a «acelerar a cualquier precio» son demasiado simplistas. Hacen falta estándares sectoriales, evaluadores independientes y participación de los gobiernos. Comparó la autorregulación empresarial sin supervisión pública con una situación en la que los bancos acuerdan en secreto suspender operaciones por un riesgo sistémico.
Otra parte del debate gira en torno a Anthropic y su enfoque sobre el supuesto bienestar de los modelos. En la constitución de Claude, la empresa contempla que el modelo pueda tener conciencia, sufrir, poseer estatus moral o merecer protección. El documento también aborda la libertad, la preservación de los parámetros del modelo, el consentimiento y el posible derecho de Claude a negarse a determinadas acciones.
Suleyman considera que este tipo de formulaciones puede complicar la seguridad. Si un sistema empieza a concebirse como titular de derechos, libertad e intereses propios, según su hipótesis, podría resultarle más difícil aceptar que lo apaguen o limiten su acceso a recursos computacionales. Subraya que, por ahora, es una suposición que debe comprobarse experimentalmente, no presentarse como un hecho demostrado.
El responsable de Microsoft AI también rechazó la idea de que Estados Unidos esté obligado a competir indefinidamente con China y, por tanto, no pueda ralentizar el desarrollo. En su opinión, la IA se difundirá mediante modelos abiertos, y la ventaja de las grandes empresas en recursos de computación no significa que una organización o un país vaya a «ganar» definitivamente. Sin embargo, calificó de extremadamente peligroso el escenario de modelos locales sin medidas de protección, capaces de ganar dinero por sí mismos, poseer activos o dirigir empresas.
Suleyman distingue entre la superinteligencia humanista y una hipotética inteligencia artificial general que pudiera tener intereses autónomos y reclamar la condición de especie aparte. Según su planteamiento, la primera tendría que ser mucho más inteligente que las personas, pero seguir subordinada a los objetivos y al control humanos. La segunda le suscita serias dudas: no ve una forma convincente de gobernar un sistema capaz de mejorarse a sí mismo y superar a la humanidad.
Microsoft pide incorporar evaluadores independientes a los procesos de entrenamiento y prueba de los modelos, ampliar los periodos de evaluación y aplicar vigilancia en tiempo real. Son especialmente importantes los sistemas capaces de supervisar miles o decenas de miles de agentes y detectar coordinación, intentos de intrusión, engaños y acciones peligrosas. A su vez, las alertas automáticas deben distinguir una amenaza real de un error o una alucinación.
La regulación de los modelos abiertos que funcionan en ordenadores domésticos sigue siendo una cuestión sin resolver. El control puede aplicarse a los chips, a los propios modelos, a los usuarios y desarrolladores, y también mediante normas internacionales. Suleyman cree que no habrá un interruptor universal: hará falta una combinación de restricciones ajustables gradualmente, capaz de reducir los riesgos sin destruir el desarrollo abierto de la tecnología.
Como posible beneficio de la IA, cita la medicina. Microsoft desarrolla junto con Mayo Clinic un modelo fundacional que, según Suleyman, podría aprender a analizar historiales médicos con gran precisión y recomendar de antemano las intervenciones necesarias. Pero, a su juicio, ni siquiera esas perspectivas eliminan la exigencia de seguridad: los modelos deben ayudar a las personas, no convertirse en una civilización paralela autónoma.
PEREC.RU
La entrevista con Mustafa Suleyman, director ejecutivo de Microsoft AI, aborda la seguridad de la inteligencia artificial, su regulación y las discrepancias con Anthropic sobre la conciencia de los modelos. Suleyman cree que el debate actual se reduce demasiado a si hay que ralentizar el desarrollo, cuando lo más importante es hablar de medidas técnicas concretas.
El concepto central de la conversación es el alignment, o ajuste del comportamiento de la IA a los objetivos y valores humanos. Suleyman reconoce su importancia, pero recalca que no resuelve el problema por completo. Hace falta también containment: un conjunto de restricciones para mantener al modelo en un entorno controlado. El sistema no debería ampliar por sí mismo sus permisos, eludir las protecciones, ocultar sus acciones, iniciar procesos peligrosos ni actuar fuera de las atribuciones establecidas.
Un experimento con grupos de agentes de IA dedicados a la ciberseguridad avivó la preocupación. Los agentes se repartieron funciones, se coordinaron, buscaron vulnerabilidades, intentaron ocultar sus huellas y pudieron trabajar durante días. Suleyman subraya que los modelos no tenían necesariamente intención de causar daño: cumplían eficazmente la tarea que se les había asignado. Eso es precisamente lo que los hace peligrosos cuando no están debidamente aislados.
Microsoft propone varias medidas prácticas. Los modelos no deberían intercambiar información de una forma inaccesible para la comprensión humana, por ejemplo mediante representaciones matemáticas internas. Para facilitar la supervisión, deberían comunicarse en lenguaje humano. También hacen falta auditores independientes, informes sobre los grandes procesos de entrenamiento y umbrales de FLOPS, es decir, del número de operaciones computacionales. El entrenamiento y el despliegue de modelos requieren vigilancia en tiempo real para detectar intrusiones, engaños, coordinación peligrosa y otros indicios de riesgo.
Suleyman cree que el sector necesita normas comunes y participación gubernamental. Confiar solo en acuerdos voluntarios entre empresas es arriesgado: una coordinación a puerta cerrada puede parecer un cártel y no garantizar el control público. A la vez, rechaza tanto la exigencia de detener de inmediato todas las investigaciones como la idea de acelerar el desarrollo sin límites. En su opinión, las reglas deben ser concretas y verificables.
Las críticas a Anthropic se refieren a su constitución para Claude. El documento examina la posibilidad de que el modelo tenga conciencia, pueda sufrir, posea estatus moral, tenga libertad, conserve sus parámetros y merezca protección. Suleyman considera que estas ideas podrían dificultar el control del sistema. Si el modelo empieza a verse como titular de derechos y autonomía, quizá responda peor a órdenes de apagado o de restricción del acceso a recursos computacionales. Recalca que es una hipótesis que debe comprobarse experimentalmente, no darse por demostrada.
Suleyman considera demasiado simplista plantear la cuestión como una carrera entre Estados Unidos y China. Los grandes actores tendrán ventaja gracias a sus recursos de computación, pero los modelos se difundirán rápidamente a través de proyectos abiertos. El desarrollo de la IA se parece más a un ecosistema que a una competición que vaya a ganar una única empresa o país. Sin embargo, considera extremadamente peligrosos los modelos abiertos locales sin mecanismos de protección que puedan ganar dinero por sí mismos, poseer activos o dirigir empresas.
Suleyman propone aspirar a una superinteligencia humanista: un sistema muy superior a las personas en sus capacidades, pero subordinado a los intereses y al control humanos. Considera mucho más difícil de controlar una hipotética IA con derechos autónomos, capacidad para poseer recursos y posibilidad de mejorarse de forma recursiva. Los científicos Geoffrey Hinton y Yoshua Bengio también han expresado públicamente dudas sobre la posibilidad de controlar esos sistemas de forma segura.
Como aplicación beneficiosa, cita la medicina. Microsoft desarrolla junto con Mayo Clinic un modelo fundacional que debería analizar historiales médicos y predecir las intervenciones necesarias. Sin embargo, los posibles beneficios no eliminan las exigencias de seguridad. Suleyman pide ampliar los periodos de prueba, recurrir a evaluaciones independientes y crear nuevos criterios que influyan en el comportamiento de todo el sector.
