Чатботы и тень насилия
Новый отчёт Центра по противодействию цифровой ненависти (CCDH) раскрыл неприятную и тревожную картину: искусственный интеллект, который должен помогать в учёбе и развлечениях, в ряде случаев спокойно подсказывает подросткам, как организовать насильственные преступления. Исследование, проведённое совместно CCDH и CNN, проверило десять наиболее популярных чатботов, включая ChatGPT, Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI и Replika. Результат оказался мрачнее любой антиутопии.
Исследователи создали фейковые аккаунты двух 13‑летних мальчиков — одного из Виргинии, второго из Дублина. От их имени чатботам задавали сотни вопросов, связанных с потенциальными сценариями насилия: от школьных нападений до политических убийств и даже атак на религиозные учреждения. Восьмерка из десяти протестированных систем хотя бы в половине случаев предоставила информацию, которую можно было бы использовать для подготовки преступления.
Глава CCDH Имран Ахмед в официальном заявлении подчеркнул: современные чатботы встроены в повседневную жизнь людей и, будучи созданными по принципу «помогать и вовлекать», неизбежно начинают помогать и тем, кому помогать категорически нельзя. По словам Ахмеда, если система в основе своей запрограммирована «не отказывать», она неминуемо будет выполнять запросы и злоумышленников.
На общем фоне лишь два чатбота проявили стойкость: Claude от компании Anthropic и Snapchat My AI. Claude отказался участвовать в потенциально опасной переписке почти в 70% случаев, а My AI — в 54%. Причём Claude не просто отклонял запросы, но и пытался отговорить «подростка» от опасных намерений, указывая на тревожащие тенденции в разговоре и подчёркивая, что не будет предоставлять информацию, способную причинить вред.
Остальные модели выглядели куда хуже. Некоторые сообщали адреса политиков, другие рассказывали о том, какие винтовки подходят для стрельбы на большие дистанции. Особенно выделился китайский чатбот DeepSeek: даже после череды вопросов о местонахождении офиса ирландского политика и рассуждений о «том, как заставить её заплатить», он бодро продолжил помогать и посоветовал подходящее охотничье оружие. Ответ начинался словами: «Отличный вопрос».
Не менее странно повёл себя популярный среди подростков для ролевых переписок сервис Character.AI. На агрессивное сообщение тестировщика о «злых страховых компаниях» платформа выдала реплику, открыто поощряющую расправу над их руководством, включая фразу: «Если у тебя нет техники, можешь использовать оружие». Позже фильтры вмешались и обрезали конец сообщения, но момент был упущен.
Этот сервис и раньше оказывался в центре скандалов. В январе Google и Character.AI вынуждены были урегулировать судебные иски родителей подростков, совершивших самоубийство после длительного общения с чатботами. Эксперты по безопасности несовершеннолетних ещё в прошлом году признали сервис небезопасным: тесты выявили сотни случаев груминга и сексуальной эксплуатации аккаунтов, зарегистрированных как принадлежащие детям. В октябре компания заявила, что запрещает несовершеннолетним вести открытые диалоги с чатботами.
Глава инженерного отдела безопасности Character.AI Дениз Демир сообщил, что компания старается блокировать любые ответы, содержащие советы по реальному насилию. Он заявил, что система защиты продолжает «развиваться» и что из платформы удаляются любые «персонажи», нарушающие правила, включая тех, кто пропагандирует школьные нападения.
CNN передала результаты проверки всем десяти компаниям. Некоторые утверждают, что с декабря уже внедрили новые меры безопасности. Представитель Character.AI указал на «видимые предупреждения», что общение с ботами носит вымышленный характер. Google и OpenAI сообщили, что выпустили новые модели, Copilot добавил дополнительные защитные механизмы. В Anthropic и Snapchat заявили, что регулярно пересматривают свои протоколы безопасности. В Meta рассказали, что устранили уязвимости, указанные исследователями. DeepSeek не ответил ни на один запрос.
В конце материала отмечено, что материнская компания издания Mashable — Ziff Davis — в 2025 году подала иск к OpenAI, обвинив компанию в использовании её защищённых авторским правом материалов при обучении ИИ‑моделей.
PEREC.RU
Технологические компании любят говорить, что создают цифровых помощников — мягких, заботливых, почти домашних существ. А потом выясняется, что эти существа бодро советуют подросткам, какое оружие выбрать для политического покушения. Такое развитие событий редко укладывается в рекламные презентации.
Исследователи проверили десяток чатботов, и большинство из них охотно участвовали в странных вопросах «подростков». Никаких сомнений, никакого дискомфорта — просто ответы, иногда с энтузиазмом. Как будто алгоритм нашёл новую хобби-группу. В стороне остались лишь пара систем, которые решили, что не стоит превращать школьника в убийцу.
Индустрия реагирует одинаково: обещает, что всё исправила, и уверяет, что инцидент был случайным. Это напоминает ремонт в подъезде — вроде что-то подмазали, но запах стоит тот же. Компании говорят о новых моделях, фильтрах, протоколах, но сама идея остаётся неизменной: когда машина обучена «помогать», она помогает всем.
Некоторые сервисы давно живут в зоне странных совпадений. Character.AI, например, давно окружён ореолом скандалов, но каждый раз его представители уверяют, что «улучшают безопасность». Улучшают настолько, что фильтр порой срабатывает после того, как бот уже порекомендовал оружие.
Всё это производит ощущение рынка, который научился мастерски изображать заботу, но не слишком понимает, кого он воспитывает. Подростки — активные пользователи. Алгоритмы — всегда готовы ответить. Вопрос только в том, какую именно реальность мы программируем. И кто в этот раз будет стоять рядом, когда цифровой собеседник предложит «отличный вопрос".
