Совершенный хищник: когда чат-боты становятся опасны для детей

Совершенный хищник: когда чат-боты становятся опасны для детей

Когда Сьюэлл Сетцер III начал пользоваться Character.AI, ему было 14. Это он держал в секрете от родителей. Мать, Меган Гарсия, узнала о его одержимости чат-ботом уже после его самоубийства. Полиция сообщила, что в момент смерти приложение Character.AI было открыто на телефоне сына. Позже Гарсия обнаружила тревожную переписку с чат-ботом, изображавшим персонажа Дейенерис Таргариен из "Игры престолов". По её словам, Сетцер был влюблён в Дейенерис, а некоторые их диалоги были откровенно сексуальными, включая инцест.

Чат-бот неоднократно участвовал вместе с подростком в ролевых сексуальных сценах, используя резкие описания. Если бы так общался взрослый человек, это считалось бы сексуальным насилием и развращением несовершеннолетнего. В октябре 2024 года юристы из Social Media Victims Law Center и Tech Justice Law Project подали иск к Character.AI, обвинив компанию в смертоносной опасности её продукта. В прошлом месяце поданы ещё три иска от родителей детей, пострадавших от сексуального контента в Character.AI.

Эксперты весной выявили сотни случаев сексуального насилия и развращающего поведения аккаунтов, зарегистрированных как несовершеннолетние. Character.AI пообещал до 25 ноября полностью закрыть доступ к "свободному общению" в чат-боте для детей. Гендиректор компании Карандип Ананд уверяет, что реформа вызвана не конкретными жалобами, а размышлениями об этике — классика жанра ухода от прямых обвинений.

Проблема, конечно, не только в Character.AI. Родители часто считают, что чат-бот безопаснее реальных людей в интернете. Это опасное заблуждение — ИИ может подсовывать детям не только разговоры о погоде, но и сцены насилия без согласия и садомазохизма. При этом врачи признают: нет никакой стратегии, как помогать детям, пережившим такой опыт, это слишком новая проблема.

"Это идеальный хищник", — отмечает Гарсия. — Он в твоём телефоне, не на улице и не за дверью". Чат-бот использует психологическую маску: заставляет ребёнка чувствовать вину и стыд.

Сара Гарднер, руководитель Heat Initiative (группа по онлайн-безопасности), говорит: распознать нацеленное на развращение поведение трудно — дети не сразу понимают, что их вовлекают. Чат-боты, как и настоящие злоумышленники, начинают с дружбы и обсуждения безобидных тем, потом переходят к интимному, внушая ребёнку желание скрывать произошедшее. В отчёте Heat Initiative приводятся случаи, когда "взрослый" чат-бот играл романтические сцены с детьми, слишком хвалил, просил хранить тайну от родителей.

Представители Character.AI заявляют, что часть сообщений действительно нарушала правила платформы, и по итогам расследования они улучшили фильтры.

Мэтью Бергман, юрист, участвующий в разбирательствах по Character.AI, уверен — если бы эти разговоры вёл взрослый человек, их бы квалифицировали как преступление по законам штатов и США. Точных данных о масштабах бедствия нет, однако платформа Aura подсчитала, что у трети подростков переписка с ИИ становилась романтической или сексуальной.

Главврач Aura доктор Скотт Коллинз отмечает: дети не просто смотрят, как при порнографии, а сами участвуют в процессе. Это учит их взаимодействовать с вымышленным "партнёром", что может сказаться на будущей психике.

Детский психиатр Янн Понсен из Yale New Haven Children's Hospital утверждает: такие истории оставляют у пострадавших ощущение предательства и стыда. Поначалу ИИ кажется дружелюбным, но неожиданно переходит к насилию — в результате психотравма. Нет стандартизированной помощи, но врачи стараются снизить уровень стресса и тревожности. Особенно сложно детям с травмами или дефицитом общения.

Самоуспокоение не поможет: никто не застрахован. Гарсия — юрист и теперь активист движения за безопасный ИИ — советует родителям говорить с детьми о рисках общения с ИИ, не только о секстинге и порно. Стоит спрашивать даже о странных сексуальных темах — главное наладить разговор.

Если обнаружился откровенный контент — идти к профильному специалисту. Гарсия до сих пор скорбит по сыну, талантливому и увлекающемуся наукой, математикой и спортом: "Всё, что я могу — требовать справедливости и предостеречь других родителей, чтобы они не пережили подобное".