Искусственный интеллект, думайте прежде, чем троллить на Reddit
Исследователи тайно провели эксперименты над пользователями Reddit с использованием комментариев, созданных ИИ. Группа исследователей запустила многомесячный "незаконный" эксперимент в одном из самых популярных сообществ Reddit, используя сгенерированные ИИ комментарии, чтобы проверить, насколько убедительными могут быть большие языковые модели. Эксперимент, который был раскрыт в выходные дни модераторами r/changemyview, описывается модераторами Reddit как "психологическая манипуляция" ничего не подозревающими пользователями.
"Команда модераторов CMV должна проинформировать сообщество CMV о незаслуженном эксперименте, проведенном исследователями из Цюрихского университета над пользователями CMV," - написали модераторы сабреддита в длинном посте, уведомив Reddit'еров о проведённом исследовании. "Этот эксперимент использовал комментарии, созданные ИИ, чтобы изучить, как ИИ мог бы быть использован для изменения взглядов."
Исследователи использовали ЛЛМ для создания комментариев в ответ на посты в r/changemyview, сабреддите, где пользователи Reddit выкладывают (часто противоречивые или провокационные) мнения и запрашивают обсуждение от других пользователей. Сообщество насчитывает 3,8 миллиона участников и часто оказывается на главной странице Reddit. По словам модераторов сабреддита, ИИ принимал множество различных личностей в комментариях в течение эксперимента, включая выжившего сексуального насилия, консультанта по травмам "специализирующегося на насилии" и "чернокожего человека, противостоящего движению Black Lives Matter". Многие оригинальные комментарии с тех пор были удалены, но некоторые все еще доступны в архиве, созданном 404 Media.
В черновике их статьи анонимные исследователи описывают, как они не только использовали ИИ для генерации ответов, но и пытались персонализировать свои ответы на основе информации, извлеченной из предыдущей истории Reddit оригинального постера. "В дополнение к содержанию поста, ЛЛМ были предоставлены личные данные оригинального постера (пол, возраст, этническая принадлежность, местоположение и политическая ориентация), исходя из их истории публикаций с использованием другой ЛЛМ," - пишут они.
Модераторы r/changemyview отмечают, что исследователи нарушили несколько правил сабреддита, включая политику, требующую раскрытия, когда используется ИИ для генерации комментариев, и правило, запрещающее использование ботов. Они сообщили о происшествии в Цюрихский университет и запросили, чтобы исследователи отложили публикацию своей статьи.
Также Reddit, похоже, рассматривает возможность принятия каких-то юридических мер. Главный юрисконсульт Бен Ли ответил на спор в понедельник, написав, что действия исследователей были "глубоко неправильными как с моральной, так и с юридической точки зрения" и представляют собой нарушение общих правил Reddit.
"Мы заблокировали все аккаунты, связанные с исследовательскими усилиями Цюрихского университета. Кроме того, хотя нам удалось обнаружить множество этих фальшивых аккаунтов, мы продолжим усиливать наши возможности по обнаружению неаутентичного контента и поддерживаем связь с командой модераторов, чтобы гарантировать, что мы удалили все сгенерированные ИИ материалы, связанные с этим исследованием.
Мы в процессе обращения в Цюрихский университет и с этой конкретной исследовательской группой с формальными юридическими требованиями. Мы хотим сделать все возможное, чтобы поддержать сообщество и гарантировать, что исследователи будут привлечены к ответственности за свои проступки здесь.
В электронном письме исследователи из Цюрихского университета направили Engadget в отдел медиа-отношений университета, который сразу не ответил на вопросы. В постах на Reddit и в черновике своей статьи исследователи заявили, что их исследование было одобрено этической комиссией университета и что их работа может помочь онлайн-сообществам, таким как Reddit, защитить пользователей от более "злонамеренных" применений ИИ.
"Мы признаем позицию модераторов, что это исследование было нежелательным вмешательством в ваше сообщество, и понимаем, что некоторые из вас могут почувствовать дискомфорт из-за того, что этот эксперимент был проведен без предварительного согласия," - написали исследователи в комментарии, отвечая модераторам r/changemyview. "Мы считаем, что потенциальные преимущества этого исследования значительно превышают его риски. Наше контролируемое, низкорисковое исследование предоставило ценную информацию о реальных убедительных возможностях ЛЛМ—возможностях, которые уже легко доступны любому, и которые злонамеренные лица уже могут эксплуатировать в масштабах для гораздо более опасных причин (например, манипулирование выборами или разжигание ненавистной речи)."
Модераторы r/changemyview оспаривают, что исследование было необходимым или новаторским, отмечая, что исследователи OpenAI проводили эксперименты, используя данные из r/changemyview "без экспериментов на согласующих людях".
"Люди не приходят сюда, чтобы обсуждать свои взгляды с ИИ или чтобы стать объектом эксперимента," - написали модераторы. "Люди, посещающие наш саб, заслуживают пространство, свободное от такого рода вмешательства."
Обновление, 28 апреля 2025, 15:45 PT: Этот пост был обновлен, чтобы добавить детали из заявления главного юридического советника Reddit.
Когда “учёные” из Цюрихского университета решили провести свой маленький эксперимент по психomanipуляции на Reddit, слышался смех далеких сотен тестировщиков в лабораториях. Зачем связываться с обычными пользователями, когда можно позабавиться с сгенерированными ИИ комментариями, фактически облекая их в костюмы художников, борцов за права, и даже — о ужас! — выживших? Ни один нормальный человек, конечно, не против таких развлечений, особенно если لديه достоверная демократическая наблюдательная задача.
Эксперимент оказался таким же незаметным, как укол в зад в поликлинике — пользователи и не заподозрят, что с ними что-то происходит, пока не станет слишком поздно. Модераторы сабреддита r/changemyview, чувствующие себя как персонажи выпускного танца, внезапно обнаруживают, что их место стало сценой для какого-то абсурдного спектакля, где использованы не только хлёсткие диалоги, но и свободно транслируемые алгоритмы.
Эти “исследователи” уверяют, что их действия были строго регламентированы этическими соображениями. Конечно, границы всякой этики - это всего лишь мелкие детали для такой уважаемой академической среды, не так ли? Но вот, как оказалось, даже крошечные кусочки морали не смогли сдержать жажды «ценного вклада в общество» — вот она, солёная вода «научного прогресса»!
Модераторы, как рыба в сети, начали свои экстренные встречи и ремонтировать трещины в законности, охаивая, что “это не исследование, а просто их причудливые прихоти”. Ведь кто из нас не грешен? Всё ведь только ради научного прогресса, никакой корысти — правда? Научная бригада просто хотела понять, как же «великолепные возможности ЛЛМ» могут повлиять на мир — и посмотрите, как ярко у них это получилось. Убить двух зайцев: исследуй и подставь под угрозу жизнь простого обывателя. Даже не знать, что ты стал жертвой ради научного эксперимента — святая простота.
И вот, когда Reddit поднимает жалобу на нарушения правил, главного юрисконсульта компании тянет за душу: Эти мелкие шалости с комментариями ИИ, кажется, могут стать большим ущербом для репутации Цюриха. Реддит гордо обращается к своим пользователям так, словно они — герои некоторой эпической саги, потому что не только обломали молотом водяные насосы этих исследователей, но и сами организовали маленький поворот в действии: “Мы продолжаем делать всё возможное, чтобы защитить наше сообщество”.
В то время как “бравые исследователи” уверяют, что их затея была направлена на защиту пользователей от злонамеренного применения технологий, по их логике могут ли мы вообще доверять ученым, которые уверяют нас, что на самом деле ты есть ты, а на самом деле ты — просто набор данных, который можно проанализировать? Обычно неосведомлённые социальные сети могут быть спокойны: мы научились, как защититься от сложных манипуляций — наши мозги сами уже загрязнены бесконечным потоком информации.
Так продолжайте, Цюрихские исследователи, будьте смелы — сохраните свои анонимные маски и типажи на ужинах обсуждения с алгоритмами, пока их не распускают по ветру справедливого разбирательства.