Dungeons & Dragons saca a la luz las debilidades de la IA

Investigadores de universidades de California y Pensilvania han ideado una forma original de diagnosticar los defectos de la inteligencia artificial: pusieron a modelos de IA a jugar a Dungeons & Dragons (D&D). El juego no es un mero pasatiempo para aficionados a la fantasía medieval. Es un entorno complejo, con un montón de reglas, en el que hay que vigilar al personaje, pensar en equipo y recordar que al enemigo le quedan dos puntos de vida, no tres. El trabajo se presentó en la conferencia NeurIPS 2025, algo que ya le da cierto peso.

El investigador principal, Ziyi Zeng, y sus colegas desarrollaron un simulador especial, D&D Agents. En él, distintas IA (entre ellas las famosas Claude 3.5 Haiku, GPT-4o y DeepSeek-V3) competían entre sí y contra personas, no de boquilla, sino cumpliendo auténticas misiones de combate según las reglas de D&D. No había lugar para la «fantasía»: solo se podía actuar mediante herramientas digitales, por ejemplo, para comprobar cuánta vida le quedaba a un monstruo o si el personaje estaba realmente detrás de una pared.

Las enfrentaron en 27 combates únicos contra monstruos, hicieron que se arrastrasen por el mapa y calcularon el daño con los dados. Los ganadores se determinaron en seis categorías, desde la habilidad para utilizar las herramientas hasta la sofisticación táctica. Claude 3.5 Haiku resultó ser un trabajador infatigable: estable, no se salía del papel y recordaba con claridad sus acciones anteriores. GPT-4o era casi igual de bueno, pero se dejaba llevar por la improvisación. Y DeepSeek-V3, digámoslo claro, no impresionó a nadie: a menudo se quedaba atascado y se ponía a tomar el té en plena batalla decisiva.

Lo curioso es que cuanto más duraba la partida, más a menudo la inteligencia artificial perdía el hilo de los acontecimientos. Por ejemplo, atacaba a un enemigo caído o se olvidaba alegremente de los efectos aplicados. Los científicos llamaron a esos fallos «alucinaciones de estado». Se manifestaban sobre todo cuando había que recordar cuánta vida le quedaba a cada cual y dónde estaba cada uno. En resumen, la memoria de la IA deja mucho que desear cuando la partida se alarga.

Claude 3.5 Haiku también resultó ser un buen actor: sabe pasar del tono burlón de un bardo al de un druida imperturbable. DeepSeek-V3, en cambio, solo habla con dos voces, pase lo que pase. A veces los modelos se meten tanto en el papel que empiezan a soltar frases ofensivas como monstruos o a pronunciar discursos heroicos ante el caos de una pared.

También pusieron a prueba su inteligencia táctica: quién ataca con criterio y quién dispara al enemigo sin esperar a que se acerque un poco más. Una vez más, Haiku quedó por delante: actuaba con más audacia y racionalidad que sus competidores. Pero, en cuanto se complicaban las tareas, los modelos más flojos cometían más errores, mientras que los fuertes recurrían a poderosos hechizos y terminaban rápido el combate.

El sistema automatizado de evaluación coincidió casi por completo con el veredicto de las personas. Así que esta prueba de D&D también puede servir en el futuro, sin tener que movilizar a un ejército de evaluadores para cada partida.

Pero hay un matiz: por ahora, el estudio abarcó casi exclusivamente la parte de combate del juego. Las negociaciones sociales y la exploración del mundo, tan importantes en las partidas auténticas de D&D, quedaron fuera. Los científicos esperan hacer más complejo el simulador, quizá añadiendo juegos jurídicos o empresariales en los que la IA tenga que demostrar que sabe planificar a varios años vista.

Los resultados indican que, si la IA aprende a mantener en la cabeza un combate complejo, quizá se convierta en una asistente decente para negociaciones complicadas y proyectos largos. Pero, por ahora, Dungeons & Dragons es para ella como un libro de texto para un estudiante que suspende: incomprensible, aburrido y doloroso. Los autores del estudio son Ziyi Zeng, Shengqi Li, Jiajun Xi, Andrew Zhu y Prithviraj Ammanabrolu.