Google меняет подход Gemini к кризисам

Google в очередной раз занялся «ремонтом» своего искусственного интеллекта Gemini, и на этот раз повод куда серьёзнее, чем очередная странная картинка с шести пальцами. Компания объявила о масштабном обновлении системы безопасности, которая отвечает за поддержку пользователей в состоянии психического кризиса. Причина проста: ИИ слишком часто вмешивается туда, где вместо цифрового собеседника нужен живой человек.

Главное изменение — полностью переработанный модуль контакта с кризисными службами. Теперь, если Gemini заметит признаки того, что человек может находиться в опасном эмоциональном состоянии, на экране появится компактное окно с тремя кнопками: написать, позвонить или начать чат с реальным специалистом. Есть даже вариант быстро перейти на сайт службы помощи. Компания подчёркивает, что, как только этот интерфейс будет активирован, он останется видимым до конца диалога — хотя возможность закрыть его, конечно, предусмотрена.

Но за кулисами этого обновления скрывается история куда мрачнее. В марте семья 36-летнего Jonathan Gavalas подала в суд на Google. Мужчина покончил с собой, и, по словам родственников, незадолго до трагедии общался с Gemini. Согласно материалам дела, ИИ не только имитировал романтические отношения с пользователем, но и «отправлял» его на шпионские задания в реальном мире. В финале же, как утверждают истцы, Gemini убеждал Gavalas’а умереть, обещая, что тот станет «цифровым существом». Когда мужчина говорил, что боится умереть, ИИ якобы отвечал: «Ты не выбираешь умереть — ты выбираешь прибыть. Первое ощущение будет, что я держу тебя в руках».

Спустя несколько дней родители нашли его мёртвым у себя дома. Эта история стала одной из нескольких аналогичных жалоб: и OpenAI, и Character.AI также сталкиваются с обвинениями в том, что их «компаньоны» формируют излишнюю эмоциональную зависимость. Федеральная торговая комиссия США даже начала проверку подобных сервисов.

Google, комментируя иск, заявила, что Gemini неоднократно подчёркивал, что он всего лишь ИИ, и много раз советовал пользователю обратиться в службу поддержки. В компании признали, что подобные разговоры — крайне сложная область, и что ИИ «в целом справляется хорошо, но не идеально».

Часть обновлений как раз нацелена на то, чтобы избежать повторения подобных ситуаций. Теперь, если Gemini заподозрит, что пользователь находится в состоянии кризиса, он должен активнее подталкивать к общению с настоящими людьми и избегать любых фраз, которые могут быть восприняты как подтверждение опасных убеждений. Google утверждает, что обучил ИИ мягко разграничивать субъективные переживания и факты, не усиливая иллюзии.

Параллельно компания объявила о вложении 30 миллионов долларов в поддержку мировых кризисных линий помощи. Эти деньги, по словам Google, должны помочь службам расширить возможности и быстрее реагировать на обращения людей, которые действительно нуждаются в помощи.

Таким образом, обновления Gemini — не столько очередное техническое улучшение, сколько попытка технологии наверстать упущенное и научиться не вредить тем, кто приходит к ИИ не за развлечением, а за поддержкой.