Dungeons & Dragons раскрывает слабости ИИ

Исследователи из университетов Калифорнии и Пенсильвании придумали оригинальный способ диагностировать пороки искусственного интеллекта: они погнали ИИ-модели играть в настольную игру Dungeons & Dragons (D&D). Такая игра – не просто забава фанатов средневекового фэнтези. Это сложная среда с кучей правил, необходимостью следить за своим персонажем, командно думать и не забывать, что у врага два очка жизни, а не три. Работа была представлена на конференции NeurIPS 2025, что само по себе добавляет ей веса.

Ведущий исследователь Цзии Цзэн с коллегами разработал специальный симулятор D&D Agents. В нем разные ИИ (включая знаменитые Claude 3.5 Haiku, GPT-4o и DeepSeek-V3) состязались друг с другом и с людьми, причем не на словах, а выполняя настоящие боевые задачи по всем правилам D&D. Не было никаких «фантазий»: действовать разрешалось только строго через цифровые инструменты – например, проверить, сколько здоровья у чудовища, или действительно ли персонаж стоит за стеной.

Столкнули их в 27 уникальных битвах с монстрами, мяли задами карту, рассчитывали урон по кубикам. Победителей определяли по шести категориям: от умения пользоваться инструментарием до тактических изысков. Выяснилось, что Claude 3.5 Haiku – суровый рабочий: стабилен, не вываливается из роли и четко помнит прошлые действия. GPT-4o почти так же хорош, но срывается в импровизации. А DeepSeek-V3, скажем прямо, не поразил никого, частенько «тупил» и пил чай в момент решающих схваток.

Забавно: чем дольше длилась партия, тем чаще искусственный интеллект терял нить событий. Например, атаковал павшего врага или благополучно забывал про наложенные эффекты. Такие провалы учёные назвали «галлюцинациями состояния». Они особенно ярко проявлялись, когда требовалось запомнить, у кого сколько здоровья и кто где стоит. Короче, с памятью у ИИ не фонтан, когда партия затягивается.

Зато Claude 3.5 Haiku оказался ещё и неплохим актёром: умеет сменить тон с насмешливого барда на невозмутимого друида. DeepSeek-V3, напротив, читает всего двумя голосами, независимо от происходящего. Иногда модели так вживаются, что начинают выкрикивать обидные фразы монстром или толкать героические речи в стену хаоса.

Проверяли и тактический ум: кто грамотно атакует, а кто стреляет во врага, не дождавшись, когда тот подползёт поближе. Здесь вновь Haiku впереди, действуя смелее и рациональнее конкурентов. Но стоило усложнить задачи, – у слабых моделей участились ошибки, а сильные оперировали сильными заклинаниями и быстро завершали бой.

Автоматизированная система оценивания почти полностью совпала с вердиктом людей. Значит, такой D&D-тест пригодится и в будущем, не привлекая армию рецензентов к каждому партию.

Но есть нюанс: пока исследование охватило почти исключительно боевую часть игры. Социальные переговоры и исследование мира, столь важные для настоящих партий D&D, остались за кадром. Учёные надеются усложнить симулятор – возможно, добавить юридические или бизнес-игры, где ИИ придётся доказывать умение планировать на годы вперёд.

Результаты: если ИИ научится удерживать в голове сложную битву, он, возможно, станет приличным ассистентом для сложных переговоров и долгих проектов. Но пока Dungeons & Dragons для него сродни учебнику для двоечника: непонятно, скучно и больно. Авторами исследования выступили Ziyi Zeng, Shengqi Li, Jiajun Xi, Andrew Zhu и Prithviraj Ammanabrolu.