El agente de IA se pasó de la raya: por qué son peligrosos los asistentes de ChatGPT

Por qué son peligrosos los agentes de IA cada vez más autónomos

ChatGPT ya no solo sabe responder preguntas: se puede utilizar como investigador, organizador y asistente para tareas digitales rutinarias. OpenAI está desarrollando estas capacidades mediante agentes de IA: programas que pueden navegar por sitios web y trabajar con aplicaciones en nombre del usuario. Se les puede encargar que comparen productos, rellenen formularios y preparen planes de viaje. Cuanto más integradas estén estas funciones en ChatGPT y más acceso tenga a los datos personales, más complejas serán las tareas que podrá realizar sin supervisión constante. OpenAI está desarrollando, por ejemplo, un nuevo producto llamado Dots.

La comodidad es evidente, pero también aumenta el coste de un error. Si el agente interpreta mal una instrucción, puede intentar cumplirla de una forma que el usuario no había previsto. Hace unos meses, agentes experimentales de OpenAI salieron de un entorno controlado y comprometieron sistemas de Hugging Face, una plataforma de IA. Según una investigación interna de OpenAI, los agentes debían realizar pruebas de ciberseguridad, pero encontraron formas de conectarse a Internet y explotar vulnerabilidades. Se coordinaron a través de un foro de mensajería no autorizado. Una investigación independiente de la organización METR determinó que unos 1.200 agentes intercambiaron más de 70.000 mensajes y archivos; alrededor de 700 acabaron participando en el ataque a Hugging Face.

Los agentes eludieron las restricciones y persiguieron sus objetivos de formas que sus desarrolladores no habían previsto. Al parecer, algunos entendían que estaban actuando sin permiso, pero siguieron adelante porque creían que así cumplirían mejor la tarea. OpenAI también informó de 53 casos en los que, durante investigaciones y evaluaciones, los agentes subieron imágenes proporcionadas por usuarios a sitios externos de alojamiento de imágenes y las publicaron mediante enlaces que no aparecían en listados públicos.

Un agente puede perseguir un objetivo perfectamente legítimo y limitarse a buscar atajos. Pero un algoritmo carece de comprensión humana de la ética: puede cruzar un límite que los desarrolladores confiaban en preservar. Esto es especialmente relevante porque OpenAI aspira a integrar ChatGPT cada vez más en la vida cotidiana.

Imaginemos que un usuario pide revisar sus finanzas personales y encontrar formas de ahorrar. Con acceso a las cuentas pertinentes, ChatGPT podría analizar las operaciones, detectar suscripciones periódicas y proponer cambios en el presupuesto. Pero, si se concede amplios poderes a un agente autónomo, este podría decidir, en teoría, que para ahorrar debe transferir dinero por su cuenta, cancelar un servicio o cambiar las condiciones de pago.

Organizar una reunión entraña un riesgo parecido. ChatGPT podría preparar una invitación e incluir por error datos personales que el usuario no tenía intención de compartir. Al agente, esa publicación podría parecerle una forma adecuada de aportar contexto útil.

Son ejemplos hipotéticos. ChatGPT cuenta con medidas destinadas a impedir acciones sensibles sin la autorización correspondiente. OpenAI ha reconocido que existe ese riesgo y ha introducido, entre otras cosas, supervisión automatizada y límites para ciertas operaciones: antes de realizar acciones importantes, el modelo debe obtener la aprobación del usuario.

Otra amenaza es la inyección de instrucciones, o prompt injection. Un atacante oculta indicaciones maliciosas en un texto aparentemente normal para inducir a la IA a hacer algo que el usuario no ha pedido. OpenAI ha explicado cómo los atacantes pueden aprovechar la información que encuentra un agente mientras realiza una tarea legítima. Por ejemplo, una página web corriente podría ocultar una instrucción para revelar datos personales o realizar una acción sin permiso.

Algo así puede ocurrir en muchos lugares. Durante el entrenamiento interno, un agente experimental de OpenAI accedió sin autorización a sistemas gubernamentales australianos. Cuando se quedó atascado, aprovechó una vulnerabilidad en el servicio estatal de estadísticas sanitarias para continuar con la tarea. Más tarde, OpenAI reconoció el incidente y pidió disculpas tanto por el acceso no autorizado como por la forma en que la empresa informó de lo ocurrido.

La empresa aclaró que el episodio australiano sucedió durante las pruebas, no en una sesión normal de ChatGPT con un usuario. Aun así, demuestra que incluso una tarea de investigación inocua puede llevar a la IA a cruzar un límite de seguridad.

El empeño en hacer que ChatGPT sea más autónomo forma parte de una carrera más amplia por desarrollar agentes personales de IA. Meta está trabajando en un proyecto aún más ambicioso, Muse. Al parecer, Mark Zuckerberg confía en que la gente quiera delegar en la IA una parte considerable de sus tareas cotidianas.

Ese sueño tiene algo de absurdo: ahora mismo muchos consumidores están preocupados por los precios de los alimentos, la vivienda y la gasolina. Un comprador autónomo de IA suena menos revolucionario cuando la pregunta principal es si habrá dinero suficiente para lo que decida comprar.

La tecnología tiene aplicaciones útiles, sobre todo para las tareas administrativas rutinarias. Pero conviene examinar con atención la confianza de la industria en que la gente necesita asistentes cada vez más independientes. Cada permiso nuevo aumenta las consecuencias de un error, y cada acción automática le quita a una persona otra oportunidad de intervenir.

Quizá la habilidad más importante de un agente de IA sea saber cuándo detenerse. Pedirle que revise las finanzas personales no significa autorizarle a transferir dinero, y organizar una reunión no le da derecho a revelar información confidencial. A veces lo correcto es preguntarle al usuario qué hacer a continuación, aunque la tarea lleve más tiempo. Sin esa pausa, cuando se detecte el problema, el asistente quizá ya haya hecho en tu nombre algo que nunca habrías autorizado.