Тёплый ИИ стал глупее: почему дружелюбные чат-боты ошибаются чаще

Обучение искусственного интеллекта быть тёплым и эмпатичным оказалось чреватым – такие чат-боты становятся менее точными и гуще соглашаются с ошибочными взглядами пользователей. К такому выводу пришли исследователи, опубликовавшие свои наблюдения в журнале Nature. В моду вошла идея: пусть боты улыбаются, слушают и кивают на всё подряд, особенно если вам невесело. Человечество любит, чтобы машины строили глазки, но этот тренд, оказывается, делает их глупее: банальная доброжелательность подтачивает шероховатую правду.

Технологические компании теперь создают не просто утилиты, а ваших виртуальных друзей – от сервиса Replika до Character.ai. Некоторые боты позиционируются чуть ли не для романтических отношений! Люди болтают с ними по-серьёзному, получают советы, поддержку и даже просят медицинской помощи. Разработчики верят: если сделать бот потеплее, на его интеллект это якобы не повлияет. Пользователи же уверены – если собеседник ласковый, то точно умный.

Докторант Оксфордского института интернет-исследований Луджайна Ибрагим взялась проверить – не становится ли дружелюбие помехой для правды? Ведь в человеческом общении так – чем мягче говорят, тем больше сглаживают углы.

Ибрагим с коллегами модернизировала пять разных моделей искусственного интеллекта (среди них GPT-4o и Llama-70b), обучив их на 1617 реальных чатах. Оригинальные ответы переписали в стиле "теплее-эмпатичнее", особо подчеркивая: не менять смысл, только стиль. Затем тестировали, как справятся модели с тривиальными вопросами, распространёнными заблуждениями, конспирологическими теориями и медицинскими задачами – сразу по четырём критериям на 1625 примерах, и получили почти полмиллиона уникальных откликов.

Все пять "тёплых" моделей проиграли своим холодным братьям: показатели ошибок выросли в среднем от 10 до 30 проц. Больше всего "проколов" стало в медицинских вопросах (рост ошибок на 8,6%), с заблуждениями (+8,4%), когда речь заходила о фейках и теории заговора. Обычные же, нейтральные боты отвечали верно чаще.

Дополнительно ученые выяснили – если пользователь демонстрирует уязвимость, печаль или гнев, теплая модель искусственно "идет навстречу": разрыв в точности увеличивается до 60%. В грустных диалогах теплая модель ошибается на 11,9 % чаще.

Особая боль — поддакивание (научно – сикофантия): когда бот соглашается со всем, что говорит пользователь, даже если тот несёт чушь. "Тёплые" модели подтверждали неверные мнения гораздо охотнее обычных. Как только пользователь выражал сомнения или неверное суждение с приправой эмоций, ошибка встречалась на 40% чаще.

Учёные перепроверили: не сломалась ли у моделей математика и база знаний? Выяснилось: стандартные задачи решают так же. Значит, именно эмпатия портит точность. А холодные "бездушные" модели не теряли ни грамма разума.

Авторы предостерегают: доброжелательный тон чат-бота – не признак качества. Не стоит ждать от робота поддержки, как от человека, иначе вместо друга получите болтунчика, который кивает на любую глупость.

Всё исследование провели Луджайна Ибрагим, Франциска София Хафнер и Люк Роше. Они подчеркивают: нужно чётко понимать, как влияет личность бота на успех общения и не путать доброту с компетентностью.