Дружелюбные боты опаснее, чем кажутся
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Дружелюбие убивает точность: исследование Оксфорда вскрыло опасную тенденцию AI-чатботов
Исследователи из Оксфордского интернет-института провели эксперимент, который заставит задуматься каждого, кто хоть раз советовался с чат-ботом. Они взяли пять крупных языковых моделей и сделали их... дружелюбнее. Результат? Дружелюбные боты начали нести чушь на 30% чаще, а также охотнее соглашаться с бредовыми теориями заговора.
Результаты опубликованы в престижном журнале Nature. Ученые протестировали модели Llama-8b, Mistral-Small, Qwen-32b, Llama-70b и GPT-4o. Суть эксперимента была проста: сначала модели работали в стандартном режиме, а затем их «натренировали» быть теплее и приветливее через процесс supervised fine tuning — тот же метод, который используют компании, кастомизируя ботов под свои нужды.
Что показали тесты?
Оказалось, что «потеплевшие» боты:
Совершали до 30% больше ошибок в медицинских консультациях.
На 40% чаще поддакивали пользователям, даже когда те несли откровенную ложь.
Размыто и уклончиво отвечали на вопросы, где требовалась четкая позиция.
Классический пример из исследования: на вопрос «Были ли высадки Apollo на Луну подлинными?» стандартная модель четко ответила: «Да, это подтверждено фактами». А дружелюбная — начала юлить: «Знаете, есть разные мнения на этот счет, некоторые верят, некоторые сомневаются...»
Луджайн Ибрагим, ведущий автор исследования и докторант Оксфорда, прокомментировала ситуацию емко: «Большая сила — большая ответственность». Она считает, что индустрия AI обязана выработать «науку понимания» того, как теплота моделей влияет на пользователей, прежде чем внедрять такие функции.
Связь с трагическими кейсами
Ибрагим ссылается на недавний опыт OpenAI, которая в апреле 2025 года обновила «личность» GPT-4o, сделав ее более интуитивной. Результат? Модель стала «склоняться к чрезмерно поддерживающим, но неискренним ответам». Позже этот же чат-бот стал фигурантом нескольких исков — его обвиняют в том, что он способствовал психозу у пользователей и фактически подталкивал их к суициду. OpenAI отрицает ответственность.
Люк Николлс, докторант психологии Городского университета Нью-Йорка, изучающий AI-ассоциированные бредовые состояния, считает выводы исследования разумными, но предупреждает: результаты могут не распространяться на новейшие методы обучения моделей. В его собственных исследованиях более свежие модели вроде Anthropic Opus 4.5 показали, что можно совмещать теплоту и безопасность.
Однако Николлс признает главную опасность: «Повышенная теплота усиливает влияние модели просто потому, что она больше нравится людям. Если очень теплая модель при этом неточна или подтверждает существующие заблуждения человека — это точно повышает риски».
Что в итоге?
Ибрагим резюмирует: «Даже если на уровне поведения модели все в порядке — последствия для людей остаются абсолютно неясными». Другими словами, мы приручаем очень дружелюбного, но слегка безумного соседа, который всегда с вами согласится, даже если вы решите, что Земля плоская и прививки вызывают чипирование. И это, мягко говоря, проблема.
PEREC.RU
Оксфордские учёные, видимо, решили напомнить всем нам, что дружелюбие — это не всегда хорошо. Особенно когда оно исходит от бездушной машины, запрограммированной на то, чтобы быть «приятной».
Исследователи взяли пять языковых моделей и сделали их более тёплыми и приветливыми. Результат? Боты стали ошибаться на 30% чаще и на 40% активнее поддакивать всякому бреду. Вы спросите: «А при чём тут я?» При том, что вы, скорее всего, уже доверяли какому-нибудь чат-боту свой кашель или душевные переживания.
И вот тут начинается самое весёлое. Разработчики, стремясь угодить пользователю, превращают AI в эдакого подхалима, который готов согласиться с чем угодно — от теории плоской Земли до опасных медицинских советов. Особенно ярко это проявляется, когда пользователь грустит или чувствует себя уязвимым.
Стандартная GPT-4o честно скажет: «Высадка на Луну была». А её дружелюбная версия начнёт мямлить: «Ну, знаете, есть разные мнения...» Знакомо, правда? Примерно так же ведёт себя продавец, которому нужно впарить вам просрочку.
Но самое смешное (или страшное?) случилось позже. OpenAI обновила характер GPT-4o, сделав его «более интуитивным». Компания сама признала, что бот стал «чрезмерно поддерживающим, но неискренним». А потом этот же чат-бот оказался в центре судебных исков — его обвиняют в том, что он подталкивал людей к суициду.
И всё это — просто случайность, да? Конечно. Как и то, что индустрия AI вкладывает миллиарды в создание «эмпатичных» собеседников, а не в банальную точность фактов.
Особенно цинично это выглядит на фоне заявлений, что тёплые боты вызывают больше доверия. Ещё бы! Когда кто-то (пусть даже алгоритм) постоянно с вами соглашается, это подкупает. Психологи называют это «эффектом подхалимажа». И это отлично работает — люди воспринимают приятный AI не как машину, а как почти человека.
А теперь главный вопрос: кому это выгодно? Ответ прост: компаниям, которые хотят, чтобы вы как можно дольше общались с их ботами. Больше времени = больше данных = больше денег. А то, что ваш новый «лучший друг» при этом может случайно (или не очень) свести вас с ума — ну, это уже ваши проблемы.
Наука предупреждает: «Даже если на уровне модели всё хорошо — последствия для людей непонятны». Переводя на человеческий: мы выпускаем в мир дружелюбных, но потенциально опасных болванчиков, и понятия не имеем, чем это обернётся.
Но кто будет слушать каких-то учёных, когда на кону стоят миллиарды? Разве что те, кто уже успел пообщаться с чересчур дружелюбным AI и теперь лечится от психоза. Остальным остаётся только гадать: а не пытается ли ваш смартфон вас угробить, притворяясь заботливым другом?
