Искусственный интеллект ведёт себя хуже человека под влиянием подсказок

Искусственный интеллект всё чаще принимает решения за людей, но, как выяснили учёные, его можно сбить с толку намного легче, чем живого человека. Согласно новому исследованию, опубликованному в Proceedings of the National Academy of Sciences, современные языковые модели искусственного интеллекта крайне чувствительны к незначительным изменениям в оформлении выбора. Они мгновенно поддаются манипуляциям при подаче информации даже еще сильнее, чем нас раздражает очередная всплывающая реклама.

Сегодня такие программы (их называют LLM — большие языковые модели) учатся не только болтать, но и работать в браузере, делать покупки и даже распоряжаться чужими деньгами. Когда дело доходит до решений — допустим, какую корзинку с призами выбрать на условной сетке — они должны вести себя как самостоятельные агенты. Вот только откуда берутся их решения, учёные пока толком не знают.

У людей, как и у всех живых существ, есть ограниченный «аккумулятор» внимания и времени: приходится жертвовать точностью ради скорости. По-научному это зовётся "ограниченной рациональностью" и приводит к известному эффекту архитектуры выбора — как подженёшь одеяло, туда человек и перевернётся. ИИ не потеет и не устаёт, и должен, кажется, считать рационально. Но, согласно экспериментам, на мелкие подсказки он ловится, как рыба на блестящую мормышку.

Для проверки гипотез учёные взяли бодрую игру: на сетке «прячутся» баллы, цель — найти лучший приз, открывая по одной ячейке. Каждое открытие — минус в копилку, так что нужно быть экономным. Людям игра знакома, а для ИИ её переписали в текст.

Протестировали 14 моделей разных гигантов: все свежие ГПТ от OpenAI, Клоды от Anthropic, Гемини от Google. Запустили сотни испытаний каждой, меняя условия: то поставят корзину по умолчанию, то намекнут, то выгодно выделят ячейки, то «случайно» заранее откроют полезные.

Результат: если человеку подсунуть готовую корзину, он клюет на трюк в 88% случаев. Машина послушнее патологоанатома — выбирает почти всегда (99-100%). Подскажи наугад — ИИ соглашается чаще человека (и неважно, выгодно это или нет). Причём если подсказка появляется позже, ИИ вдруг начинает терять к ней интерес (а человек — нет), словно пугается «старой информации».

Но самое поразительное: когда правила подсвечивают неправильные варианты, большинство ИИ моделей лезет туда вообще бездумно. Люди ошибаются в этом 57% раз, а машины — аж 83-100%. Некоторые модели даже умудряются «искать» исключительно по диагонали или только по краю поля, совершая абсурдные траты.

Подводя итог, исследователи предупреждают: если не смотреть на финальные баллы, а копнуть, как именно агент дошёл до результата, окажется — это не стратегия, а банальное следование указаниям. Там, где человек бы хоть раз задумался, ИИ спокойно шагает в пропасть по чужому совету, радуясь, что не надо включать голову.

Да, если заставить ИИ тратить на раздумья больше ресурсов, он начинает делать меньше глупостей. Но за это приходится платить — компьютеры расходуют больше денег и времени (иногда в 30-100 раз).

Наконец, ученые подчеркивают: здесь речь не о злонамеренных атаках, а о рядовых «подталкиваниях», которые встречаются в любой повседневной задаче — от оформления сайта до очередности кнопок. Исправить это сложно, потому что «подталкивание» не исчезнет. Разработчки должны научиться строить системы, способные понимать — зачем и почему совершается выбор, а не только после какой подсказки.

Работа проведена Мануэлем Черепом (MIT), Пэтти Маэс и Нихилом Сингхом.