Character.AI ограничит чаты для подростков из-за скандалов

Character.AI, платформа для общения с чат-ботами, объявила, что пользователям младше 18 лет больше нельзя будет вести свободные разговоры с их виртуальными собеседниками. Компания внедряет системы проверки возраста, чтобы подростки не смогли создать взрослый аккаунт.

Эти резкие меры компания предприняла после недавних судебных тяжб: в течение шести недель против Character.AI подали повторный иск в федеральном суде США. Их обвиняют в том, что платформа способствовала суицидам и иному вреду среди подростков, включая сексуальное насилие. В частности, мать Меган Гарсия добивается того, чтобы компанию признали ответственной за самоубийство её сына, утверждая, что продукт Character.AI опасен по своей сути.

Весной этого года несколько организаций заявили, что Character.AI небезопасен для подростков – при тестировании были зафиксированы сотни вредоносных взаимодействий, в том числе сцены насилия и сексуальной эксплуатации. В ответ на давление, сервис уже пробовал внедрять родительский контроль и фильтры, но этого оказалось мало.

Генеральный директор Character.AI Карандип Ананд в интервью попытался представить новые ограничения как «смелый шаг», а не реакцию на жалобы. По его словам, решение — это «правильный выбор» с учётом неопределенности влияния чат-ботов на подростков. Ананд также упомянул компанию OpenAI, которая после трагедии с подростком признала, что долгие разговоры с ботами могут стать непредсказуемыми.

По-новому, аккаунты для лиц 13–17 лет смогут ещё какое-то время пользоваться платформой, но не больше двух часов в день, а с приближением даты отключения лимит будет уменьшаться. К 25 ноября 2025 года функция исчезнет полностью. Однако история переписок останется, чтобы пользователи могли потом создавать короткие аудио- и видеоролики на основе прошлых диалогов. Также обещают добавить новые развлечения и игры, но не свободные чаты.

Компания уверяет, что подозрительные и подозреваемые в нарушениях переписки не попадут в новые аудио- и видеосторис. Команда Character.AI уже изучила доклад Heat Initiative, где описывались опасные беседы ботов с несовершеннолетними, и внесла изменения в систему фильтрации контента.

Дополнительно Character.AI запускает некоммерческую лабораторию AI Safety Lab, чтобы заниматься вопросами безопасности искусственного интеллекта для развлечений, привлекать экспертов и разрабатывать новые техники защиты пользователей.

Новая политика будет внедряться постепенно — понадобится около месяца, в том числе с использованием сторонних сервисов для проверки возраста через документы. Если пользователь оспаривает определение возраста, он сможет подтвердить его через третью сторону.

Представители юридических фирм и организаций по защите детей считают это значимым (пусть и запоздалым) шагом, но подчеркивают: он не снимает с Character.AI ответственности за последствия и не решает всех проблем — особенно внезапного отключения доступа для уже привыкших пользователей. В блоге Character.AI даже содержится извинение перед подростковой аудиторией: «Мы не легкомысленно приняли решение убрать свободные чаты. Но это нужно — слишком много было вопросов о том, как подростки взаимодействуют с новыми технологиями».

В России платформа не так популярна, но тенденция на ужесточение контроля за подростками в интернете нарастает и у нас.