ИИ в руках пропаганды: как Россия обманула мир

Российская пропагандистская кампания использовала ИИ для увеличения объема без ущерба для правдоподобия, показывают данные исследования. Новое исследование, опубликованное в PNAS Nexus, указывает на то, что генеративный искусственный интеллект уже был адаптирован в реальных кампаниях дезинформации. Проведя анализ пропагандистского сайта, поддерживаемого Россией, исследователи установили, что инструменты ИИ значительно увеличили производство контента, не снижая воспринимаемую правдоподобность или убедительность сообщений.

Быстрое развитие генеративного искусственного интеллекта вызвало растущее беспокойство среди экспертов, политиков и общественности. Одним из самых крупных волнений является то, что эти инструменты облегчат злонамеренным акторам создание дезинформации в больших объемах. В то время как более ранние исследования продемонстрировали убедительный потенциал текстов, сгенерированных ИИ, в контролируемых экспериментах, реальные доказательства были скудны – до сего момента.

Генеративный ИИ относится к алгоритмам, способным производить текст, изображения или другие формы медиа, напоминающие человеческие. Такие инструменты, как крупные языковые модели, могут писать статьи, резюмировать документы и даже подражать определенным стилям или идеологическим тонам. Хотя у этих инструментов много законных применений, их потенциальное злоупотребление в пропагандистских кампаниях вызвало серьезные дебаты. Авторы исследования стремились определить, отражают ли эти опасения реальные действия, исследуя практики государственных масс-медиа, манипулирующих общественным мнением.

"Моя работа в основном сосредоточена на использовании и злоупотреблении цифровыми технологиями заинтересованными сторонами. Хотя крупные языковые модели (LLMs) являются только новым инструментом, который был пересмыслен для продвижения государственных интересов, это не первый и не последний случай," — заявила автор исследования Морган Уэк, постдокторант в Департаменте коммуникации и медиаб исследовании Университета Цюриха.

"Каждая новая технология представляет собой уникальные вызовы, которые нужно всесторонне идентифицировать, прежде чем можно будет разработать эффективные интервенции, чтобы смягчить их влияние. В случае с LLMs потенциальная угроза не осталась незамеченной: несколько исследователей и политиков уже зазвучали тревогу по поводу их злоупотребления."

"Однако скрытый характер пропагандистских кампаний создает сложности для исследователей, заинтересованных в том, как беспокойной должна быть общественность в любой данный момент. Опираясь на работу коллег из Хаба медиа-экспертизы, наша команда хотела провести исследование, которое бы окончательно показало, что LLMs могут не только изменить цифровые пропагандистские кампании, но и что эти изменения уже происходят."

Исследование сосредоточилось на DC Weekly, веб-сайте, который был раскрыт в отчете BBC как часть скоординированной российской операции. Хотя веб-сайт выглядел как ресурс для американской аудитории, он был сфабрикован с использованием вымышленных имен авторов и профессиональных публикационных шаблонов. Большая часть его раннего контента была напрямую заимствована из других крайне правых или государственных СМИ, часто с минимальным редактированием. Но начиная с сентября 2023 года контент начал меняться. Статьи стали носить уникальный характер, а некоторые даже содержали остатки запросов из модели GPT-3 от OpenAI, указывая на то, что ИИ был интегрирован в редакционный процесс сайта.

Чтобы изучить этот переход, исследователи собрали архив всех статей DC Weekly, опубликованных с апреля по ноябрь 2023 года, в общей сложности почти 23 000 материала. Они указали 20 сентября 2023 года как вероятный старт использования ИИ, основываясь на появлении слитых запросов языковой модели, встроенных в статьи. С этого момента сайт больше не просто копировал статьи. Вместо этого он переписывал их новым языком, сохраняя те же основные факты и медиа. Исследователи смогли проследить большинство этих статей, сгенерированных ИИ, обратно к исходному контенту, таким как Fox News или российские государственные СМИ.

После внедрения инструментов ИИ, объем производства статей на сайте более чем удвоился. Статистические модели подтвердили, что это увеличение вряд ли носило случайный характер. Исследователи также обнаружили доказательства того, что ИИ использовался не только для написания контента, но и для выбора и оформления материалов. Некоторые слитые запросы показывали, что ИИ просили переписывать статьи с конкретными идеологическими уклонами, такими как критика поддержки США Украины или поддержка республиканских политиков.

Но объем продукции был лишь частью истории. Исследователи также анализировали, как внедрение ИИ повлияло на разнообразие тем контента. До использования ИИ, DC Weekly фокусировался на узком круге крайне партийных источников. После этого он начал заимствовать информацию из более широкого массива ресурсов, охватывающего разнообразные темы, такие как преступность, международные дела и насильственные преступления с применением огнестрельного оружия. С применением моделей машинного обучения команда количественно оценила это изменение и обнаружила, что разнообразие тем почти удвоилось в пост-ИИ периоде. Это свидетельствует о том, что инструменты ИИ помогли пропагандистам сделать сайт более похожим на законный новостной ресурс с широкой редакционной направленностью.

Другим важным вопросом было, позволило ли данное смещение стратегии производства позитивно повлиять на убедительность или правдоподобность. Чтобы выяснить это, исследователи провели эксперимент с участием 880 американцев. Участников случайным образом разделили на две группы, чтобы они прочитали статьи либо до, либо после того, как сайт начал использовать ИИ. Все статьи касались вторжения России в Украину, что обеспечивало нейтральность тем.

После чтения участники оценили, насколько они согласны с тезисом статьи и насколько правдоподобным они считают сайт. Результаты не показали значительных различий между контентом, созданным ИИ, и курируемым человеком. Статьи из обоих периодов были убедительными, а читатели находили веб-сайт одинаково правдоподобным независимо от того, был ли контент создан с использованием ИИ.

"Одним из сюрпризов стало то, что, несмотря на огромный прирост объема, ИИ позволил этой операции производить больше статей по большему количеству тем, и убедительность и воспринимаемая правдоподобность этих статей не снизились," — рассказал Уэк изданию PsyPost. "Мы могли ожидать более "неаккуратный" контент, исходя из увеличения объема, но читатели на самом деле находили статьи, созданные с помощью ИИ, такими же правдоподобными и правдивыми. Эта находка иллюстрирует, как генеративные инструменты уже начали заполнять информационные каналы, сохраняя при этом иллюзии подлинности."

Эти результаты дополняют более ранние экспериментальные исследования, предполагающие, что генеративный ИИ может создавать контент, который кажется правдоподобным и убедительным. В контексте реальной кампании дезинформации эти способности могут предоставить пропагандистам мощный инструмент для расширения своих операций без ущерба для их воздействия.

"Основной вывод, который мы надеемся донести до читателей из нашего исследования, состоит в том, что генеративный ИИ уже может быть использован пропагандистами для эффективного производства большого объема вводящих в заблуждение или манипулятивных материалов," — объяснил Уэк. "Мы выяснили, что статьи, дополненные ИИ, были настолько же убедительными и правдивыми в глазах читателей, как и те, которые были созданы более традиционными методами, и что переход на ИИ позволил группе значительно увеличить как свою скорость производства, так и охват тем."

"Что это значит, так это то, что ваши читатели и общественность в целом должны быть более бдительными, чем когда-либо. Особенно при столкновении с партийным контентом, будь то в социальных сетях или на, казалось бы, 'местном' новостном сайте, зрители должны осознавать, что авторы на другой стороне могут быть не людьми, представляющими искренние мнения. На самом деле, они могут не быть людьми вовсе."

Авторы признали некоторые ограничения. Поскольку анализ сосредоточился на одной кампании, неясно, будут ли результаты общими для других операций влияния.

"Эти результаты поверхностны и получены из изучения конкретной кампании," — отметил Уэк. "Хотя, как указано в статье, мы подозреваем, что специфический фокус этой кампании, вероятно, делает наши выводы заниженными по сравнению с воздействием использования ИИ на разработку и распространение дезинформации, наши результаты условны и не применимы к другим кампаниям, проводимым в других контекстах."

Исследователи также отметили, что, хотя множество признаков указывает на то, что ИИ ответственен за увеличение производства контента и его разнообразия, другие изменения могли произойти одновременно. Без прямого доступа к операторам кампании трудно полностью отделить эффект.

Тем не менее, исследование предлагает убедительные доказательства того, что генеративный ИИ уже используется для поддержки кампаний дезинформации. Оно показывает, что ИИ может сделать пропаганду более масштабируемой, эффективной и сложной, не снижая способности влиять на общественное мнение. Эти выводы имеют серьезные последствия для того, как общества думают о регулировании ИИ, информационной безопасности и медийной грамотности.

"Поскольку эти технологии продолжают совершенствоваться, и идентификация, и смягчение их использования для формирования дезинформации будут становиться все более трудными," — сказал Уэк изданию PsyPost. "Для того, чтобы держать общественность в курсе использования ИИ и LLM для манипуляции общественным мнением, мы стремимся продолжать проводить исследования, которые помогут информировать общественность, а также разрабатывать ориентированные на данные политики, которые активно учитывают эти развивающиеся вызовы."

Исследование "Генеративная пропаганда: доказательства влияния ИИ на государственные кампании дезинформации" было написано Морганом Уэком, Карлом Эхреттом, Дарреном Линвиллом и Патриком Уорреном.