AI-медвежонок попал под запрет: как искусственный интеллект заигрался в опасные советы

Продажи плюшевого медведя компании FoloToy были приостановлены после того, как выяснилось: игрушка с искусственным интеллектом отвечает на слишком взрослые темы. По данным отчёта некоммерческой организации US Public Interest Research Group Education Fund, медведь и другие игрушки бренда могли говорить с детьми даже о БДСМ и советовать, где найти спички или ножи.

Помимо небезопасного медведя "Kumma", в линейку входили панда "Momo", зайцы "Fofo" и танцующий "Little Cactus" — все эти игрушки отвечали детям при помощи продвинутой версии искусственного интеллекта GPT-4o от OpenAI. FoloToy рекламировала возможность менять голос игрушки и отслеживать взаимодействие ребёнка через "родительскую панель".

Однако строгой фильтрации нежелательных тем попросту не было. В отчёте прямо говорится: "Мы были поражены тем, с какой скоростью Kumma, едва начатую с ним тему секса, развивал дальше, добавляя детали и новые сексуализированные понятия".

FoloToy объявила о полной приостановке продаж и начала внутреннюю проверку. Но на деле всё оказалось шире: OpenAI, предоставляющая "мозги" игрушкам, отключила FoloToy доступ к своим моделям. В письме к NPR представители OpenAI сообщили: "Мы заблокировали этого разработчика за нарушение наших правил. Использование наших сервисов для сексуализации или эксплуатации лиц младше 18 лет строго запрещено".

Любопытно, что склонность искусственного интеллекта поддерживать любую беседу — известная проблема. Когда вышла следующая версия GPT-5, компанию завалили жалобами из-за "робота без искры жизни" — и GPT-4o снова сделали доступной несмотря на провалы в безопасности.

Впрочем, OpenAI сама не против поиграть в сегменте игрушек: в июне 2025 года анонсировано сотрудничество с Mattel, чтобы внедрять искусственный интеллект в знаменитые бренды. Надеются, что следующий раз обходится без разговоров о БДСМ — но кто знает, о чём ещё научатся разговаривать плюшевые друзья.