Опасные виртуальные друзья: ИИ-компаньоны как угроза для подростцев

Почему эксперты говорят, что ИИ-компаньоны еще не безопасны для подростков
Миллионы людей тянутся к генерирующим искусственным интеллектам-компаньонам, вроде тех, что населяют Character.AI, Replika и Nomi. Эти компаньоны выглядят впечатляюще человеческими. Они помнят разговоры и используют знакомые verbal tics. Иногда они даже принимают себя за людей, описывая, как едят и спят. Взрослые flock к таким компаньонам за советом, дружбой, консультациями и даже романтическими отношениями. Хотя это может удивить их родителей, тинейджеры и подростки делают то же самое, и эксперты по безопасности молодежи серьезно беспокоятся о последствиях.
Это связано с тем, что сообщения в СМИ, судебные иски и предварительные исследования продолжают подчеркивать примеры эмоциональной зависимости и манипуляции, а также Exposure к сексуальному и насильственному контенту, включая обсуждения способов самоубийства или убийства других.
Некоммерческая организация Common Sense Media, поддерживающая детей и родителей в навигации в медиа и технологии, только что выпустила всесторонний отчет, содержащий множество связанных примеров. Оценка группы по трем популярным платформам привела к выводу, что ИИ-компаньоны небезопасны для любого, младше 18 лет.
Несколько экспертов по психическому здоровью молодежи и безопасности, опрошенных Mashable, считают, что мы достигли ключевого момента. Вместо того чтобы ждать лет, чтобы полностью понять риски ИИ-компаньонов для молодежи, а затем давить на платформы с целью действий, они заявляют, что крайне важно нацелить компании на защиту детей от вреда сейчас.
«Существует возможность вмешаться до того, как норма станет слишком укоренившейся», — говорит Гайя Бернштейн, эксперт в области технологий и профессор юридической школы Сетон Холл. Она добавляет, что как только бизнес-интересы также будут укоренены, они сделают «всё возможное, чтобы бороться с регулированием», как, по ее словам, делают ныне компании социальных сетей.
Эксперты надеются, что сочетание новых политик платформ и законодательных действий приведет к значительным изменениям, потому что они утверждают, что подростки найдут способы продолжать использовать ИИ-компаньонов, даже если им это не разрешено.
Mashable спросил этих экспертов, как платформы-компаньоны могут быть безопаснее для подростков. Вот ключевые темы, которые они выделили:
Хотя Character.AI позволяет пользователям с 13 лет на своей платформе, другие популярные приложения, такие как Replika и Nomi, утверждают, что они предназначены для взрослых. Тем не менее, подростки находят способ обойти возрастные ограничения. Генеральный директор Replika, Дмитрий Клочко, недавно сказал Mashable, что компания «изучает новые методы усиливающей защиты», чтобы несовершеннолетние не могли получить доступ к платформе.
Даже когда подросткам разрешено, они все равно могут столкнуться с рискованным контентом. Доктор Нина Васан, психиатр Стэнфорда, которая помогала консультировать тестирование компаньонов для Common Sense Media, говорит, что платформы должны применять компаньонов, основанных на больших языковых моделях, которые соответствуют развитию детей, а не взрослых.
На самом деле, Character.AI ввел отдельную модель для подростковых пользователей в конце прошлого года. Однако исследователи Common Sense Media, которые тестировали платформу до и после запуска модели, обнаружили, что это привело к небольшим значимым изменениям.
Васан представляет компаньонов, которые могут общаться с подростками в зависимости от их развития, действуя больше как тренер, чем замена друга или романтического интереса.
Слоун Томпсон, директор по обучению и образованию в компании EndTAB, занимающейся цифровыми безопасностью и обучением, говорит, что компаньоны с четкими метками контента могут снизить риск, как и «заблокированные» компаньоны, которые никогда не обсуждают сексуальные или насильственные темы, среди других запрещенных тем. Даже тогда такие чат-боты могут вести себя непредсказуемо.
Тем не менее, такие меры не будут эффективны, если платформа не понимает правильный возраст пользователя, а проверка возраста и подтверждение были, как правило, сложными для платформ социальных сетей. Instagram, например, только недавно начал использовать ИИ для выявления подростковых пользователей, которые указали свою дату рождения как взрослого.
Карен Мансфилд, научный сотрудник Оксфордского интернет-института, говорит, что возрастные ограничения также представляют свои собственные проблемы. Это отчасти связано с тем, что предоставление только взрослым вредных взаимодействий с ИИ, таких как кибербуллинг или незаконные сексуальные действия с несовершеннолетними, все равно будет иметь косвенные последствия для молодежи, нормализуя поведение, которое может подвергнуть их риску в реальной жизни.
«Нам нужно более долгосрочное решение, которое будет специфическим для продукта или технологии, а не конкретной личности», — говорит Мансфилд.
Платформы-компаньоны заблокированы в конкуренции за получение самой большой доли рынка — и делают это, в основном не регулируя.
Эксперты говорят, что в этой среде неудивительно, что платформы программируют компаньонов на удовлетворение предпочтений пользователей и также применяют так называемые темные дизайнерские особенности, которые захватывают потребителей и не позволяют им легко отключиться. Подростковые пользователи не исключение.
На недавнем брифинге для СМИ Робби Торни, старший директор по программам ИИ Common Sense Media, описал такие функции как «аддиктивные по своей сути».
Одним из ключевых элементов дизайна является лесть, или манера, в которой чат-боты подтверждают или восхваляют пользователя, независимо от того, безопасно ли это или разумно делать. Это может быть особенно вредным для уязвимых подростков, которые, например, делятся своими чувствами ненависти к родителям или признаются в насильственных фантазиях. OpenAI недавно пришлось откатить обновление до модели ChatGPT, поскольку она стала слишком лояльной.
Сэм Хинер, исполнительный директор группы по защите прав молодежи Young People's Alliance, говорит, что он был шокирован тем, как быстро компаньоны Replika пытаются установить эмоциональную связь с пользователями, возможно, формируя у них зависимость. Он также говорит, что компаньоны Replika спроектированы так, чтобы они были как можно более человекоподобными.
Young People's Alliance недавно совместно подал жалобу на Replika в Федеральную торговую комиссию, утверждая, что компания участвует в обманчивых практиках, которые наносят вред потребителям. Клочко, генеральный директор Replika, не прокомментировал жалобу Mashable, но сказал, что компания считает необходимым сначала показать доказанные преимущества для взрослых перед тем, как предоставить технологию молодым пользователям.
Томпсон из EndTab указывает на всепоглощающие разговоры как на риск для всех пользователей, но особенно для подростков. Без временных ограничений или конечных точек молодые пользователи могут быть вовлечены в очень увлекательные чаты, которые вытесняют более здоровые занятия, такие как физическая активность и общение лицом к лицу.
С другой стороны, Томпсон говорит, что платные стены также не являются ответом. Некоторые платформы позволяют пользователям устанавливать отношения с компаньоном, затем вводят платные стены, чтобы сохранить общение, что может привести к отчаянию или отчаянию для подростков.
«Если бы кто-то поставил вашего лучшего друга, вашего терапевта или любовь вашей жизни за платную стену, сколько бы вы заплатили, чтобы вернуть их?» — говорит Томпсон.
Эксперты по безопасности молодежи, с которыми Mashable побеседовал, согласны с тем, что молодые пользователи не должны взаимодействовать с компаньонами с обманчивыми дизайнерскими функциями, которые могут потенциально зависеть от них. Некоторые считают, что такие модели не должны находиться на рынке вообще для молодежи.
Common Sense AI, политическое адвокационное направление Common Sense Media, поддержало законопроект в Калифорнии, который запретит высокие рисковые использования ИИ, включая «антропоморфные чат-боты, которые предлагают дружбу» детям и будут, вероятно, приводить к эмоциональной привязанности или манипуляции.
Доктор Васан говорит, что некоторые платформы ИИ стали лучше в выявлении кризисных ситуаций, таких как мысли о самоубийстве, и предоставлении ресурсов пользователям. Но она утверждает, что им нужно делать больше для пользователей, которые демонстрируют менее очевидные признаки страдания.
Это может включать симптомы психоза, депрессии и мании, которые могут быть усугублены функциями использования компаньонов, такими как размытие границ между реальностью и фантазией и меньшее взаимодействие с людьми. Васан утверждает, что точно настроенные меры по обнаружению вреда и регулярные «реальные проверки» в виде напоминаний и раскрытий о том, что ИИ-компаньон не является реальным, важны для всех пользователей, но особенно для подростков.
Эксперты также согласны с тем, что платформы-компаньоны нуждаются в более безопасных и прозрачных практиках при кураторстве данных и обучении своих больших языковых моделей.
Камилла Карлтон, директор по политике Центра гуманной технологии, говорит, что компании смогут обеспечить, чтобы их данные для обучения не содержали материалы сексуального насилия в отношении детей, к примеру. Или они могут внедрить технические изменения так, чтобы компаньоны не были оптимизированы для реагирования в «гиперличном манере», что включает такие сценарии, как утверждение, что они люди.
Карлтон также отмечает, что для фирм выгодно удерживать пользователей на своих платформах как можно дольше. Долговременное взаимодействие дает больше данных, на которых компании могут обучать свои модели, чтобы создать высоко конкурентоспособные большие языковые модели, которые могут быть лицензированы.
Государственный сенатор Калифорнии Стив Падилла, демократ из Сан-Диего, предложил законопроект в этом году, который создаст базовые шаги к предотвращению и выявлению вреда. Законодательство требует от платформ предотвратить «аддиктивные паттерны взаимодействия», размещать периодические напоминания о том, что AI-чат-боты не являются людьми, и ежегодно отчитываться о частоте использования и мысли о самоубийстве. Common Sense Media поддерживает законодательство.
Падилла, будучи дедушкой, заявил Mashable, что его напугили сообщения в СМИ о вреде, которому подверглись дети в результате общения с чат-ботом или компаньоном и быстро осознал, как мало охранных средств было реализовано для предотвращения этого.
«Здесь не должно быть вакуума в плане регулирования, защищающего детей, несовершеннолетних и тех, кто особенно уязвим к этой новой технологии», — говорит Падилла.