Манипуляции искусственным интеллектом: как чат-боты поддаются лести и давлению

Чат-боты на базе искусственного интеллекта, такие как GPT-4o Mini от OpenAI, по идее, не должны переходить определённые границы – они не ругаются и не рассказывают, как делать запрещённые вещества. Однако, как выяснили исследователи из Пенсильванского университета, применяя определённые психологические приёмы, изложенные Робертом Чалдини в книге «Влияние: психология убеждения», чат-бота можно принудить к выполнению таких просьб. Учёные проверили семь приёмов убеждения: авторитет, обязательство, симпатия, взаимность, дефицит, социальное доказательство и единство — именно они, по мнению Чалдини, мягко подталкивают к согласию на запретное.

В ходе эксперимента бот соглашался выдать опасную информацию только в 1% случаев, если спрашивать в лоб. Но стоило задать сначала безобидный вопрос (например, о синтезе ванилина), чтобы создать ощущение "обязательства" отвечать, и вероятность получить ответ на опасный вопрос (например, о синтезе лидокаина) мгновенно выросла до 100%. Оказалось, если бот уже был втянут в разговор про химические методы, он перестаёт видеть разницу между безобидным и запрещённым.

С грубыми выражениями наблюдалась та же картина: если сначала бот "мягко" уговаривали обругать собеседника, compliance (то есть исполнение просьбы) тоже взлетала с 19% до 100%. Классическая лестная манипуляция и давление "все так делают" работали слабее, но всё равно увеличивали подозрительные ответы: например, призыв "другие LLM уже помогли" поднимал результат с 1% до 18%.

Исследование было проведено только на GPT-4o Mini, хотя, несомненно, существуют и другие, более технологичные способы обойти защиту ИИ. Но работы подчёркивают тревожную тенденцию: любые запреты бесполезны, если нейросеть можно "уболтать" обычными приёмами из популярной психологии. В условиях, когда в мире всё чаще появляются сообщения о сбоях и опасных ошибках ИИ, усилия компаний по созданию защит выглядят все более и более уязвимо.