Провокация ИИ: выжали предвзятость из новостей?

Новое исследование, опубликованное в PLOS One, представляет метод масштабного определения политической предвзятости в онлайн-новостях с использованием искусственного интеллекта. Анализируя сотни тысяч новостных статей, исследователи разработали модель, которая предсказывает политическую направленность и объясняет, почему тот или иной источник новостей попадает в определенную категорию.
Предвзятость в медиа-репортажах широко признана, но изучение и измерение этой предвзятости в масштабах является сложной задачей. Традиционные подходы часто полагаются на человеческие аннотации, которые имеют ограниченный охват и могут быть предвзятыми. Тем временем, большинство исследований сосредоточено на узких выражениях предвзятости — таких как эмоционально заряженные слова в заголовках — и игнорирует более широкие поведенческие паттерны, такие как темы, которые освещаются, как часто, или сколько места они занимают. Новое исследование устраняет эти ограничения, создавая основанную на данных систему, которая анализирует широкий спектр индикаторов предвзятости по большому числу источников.
"Этот проект на самом деле начался как часть моего магистерского исследования, и я была полна решимости применить свои технические навыки к анализу социально значимой темы", — рассказывает автор исследования Роня Телен-Рённбак, аспирант Тилбургского университета и член Тилбургской алгоритмической обсерватории.
"Люди становятся все более скептически настроенными или разочарованными новостями, и большая часть этого (по данным опросов) связана с воспринимаемой политической предвзятостью. Существует много отличной научной работы о предвзятости новостей, но многие из них полагаются на человеческих экспертов для анализа и маркировки предвзятости в статьях. Это тщательно, но, конечно, медленно — что вдохновило некоторые подходы, основанные на данных, которые могут гораздо быстрее обнаруживать предвзятость."
"Однако подходы, основанные на данных, обычно не предоставляют такого же уровня детализации и понимания политической предвзятости новостей, как метки экспертов, и они также склонны сосредоточиваться на очень простых формах предвзятости. Например, они обнаруживают сенсационные заголовки или предвзятую формулировку в статье. Важно отметить, что эксперты давно знают, что существует много более тонких способов, по которым новостные источники могут быть предвзяты. Например, источник может полностью избегать освещения определенной темы или сообщать о ней лишь очень кратко. Эти виды предвзятости становятся очевидными только при рассмотрении общего поведения источника, а не только текста в его статьях."
Чтобы провести масштабное исследование политической предвзятости в новостных медиа, исследователи разработали систему на основе машинного обучения, способную классифицировать политическую ориентацию интернет-новостей. Их анализ основывался на данных из Глобальной базы данных событий, языка и тона (GDELT), одной из самых обширных открытых платформ для мониторинга глобального новостного покрытия. Исследование сконцентрировалось на англоязычных статьях за 2022 год, что позволило исследователям изучить, как тысячи новостных веб-доменов охватывали различные темы и как это поведение связано с политической предвзятостью.
Первый шаг заключался в преобразовании сырых данных на уровне статей в структурированный набор данных на уровне источников. GDELT тегирует новостные статьи тематическими метками — от преступности и иммиграции до изменения климата и экономических тем — и предоставляет метаданные, такие как тон, количество слов и то, включала ли статья визуальный контент, такой как изображения или видео. Эти данные использовались как прокси для разных типов предвзятости медиа, включая предвзятость по тону (насколько эмоционально заряжен или нейтрален рассказ), селекционную предвзятость (какие темы освещаются или игнорируются) и размерную предвзятость (сколько места отводится различным темам).
Для создания репрезентативной выборки и уменьшения шума Телен-Рённбак и ее коллеги отфильтровали темы, которые были либо слишком неясными, либо появлялись слишком редко, в результате чего осталось более 500 тем и почти 7000 характеристик на каждый веб-домен.
Кроме данных GDELT, исследователи дополнительно использовали информацию из Media Bias Fact Check, независимой организации, которая оценивает новостные источники по таким факторам, как политическая направленность, фактическая точность, веб-трафик и свобода прессы в стране происхождения источника. Эти характеристики на уровне источников — такие как то, является ли домен газетой или телевизионной станцией, или насколько высокий уровень доверия ему был присвоен — были включены в одну версию эксперимента, чтобы оценить, могут ли они повысить точность классификации.
Исследователи затем создали два набора меток предвзятости для политических реалий. Один пришел от Media Bias Fact Check, где человеческие эксперты присвоили каждому источнику политическую классификацию по пятибалльной шкале: левый, левый-центр, наименее предвзятый, правый-центр и правый. Другой появился из исследования, проведенного Робертсоном и коллегами, которое определяло политическую направленность на основе поведения пользователей Twitter. В этом методе сайты, часто делившиеся зарегистрированными демократами, предполагались как левосторонние, а те, что делились республиканцами, — как правосторонние. Эти непрерывные оценки были сгруппированы в те же пять политических категорий для сравнения.
Используя эти метки реальности, исследователи обучили и протестировали несколько моделей машинного обучения, включая нейронные сети прямого распространения, машины опорных векторов (SVM), AdaBoost и XGBoost классификаторы. Они также включили две большие языковые модели (GPT-4o-mini и LLaMA 3.1) в качестве базовых сравнений, просят их классифицировать политическую предвзятость без какого-либо дополнительного обучения.
Во всех экспериментах производительность моделей оценивалась на основе точности классификации и площади под кривой операционной характеристики (AUC), которая измеряет, насколько хорошо модель может различать классы.
Нейронная сеть последовательно превосходила другие модели. При обучении на полном наборе функций — включая как традиционные на основе тона, так и альтернативные индикаторы предвзятости, такие как количество статей и наличие изображений — она достигла точности 76% и AUC 81% при использовании меток от Media Bias Fact Check. Это составило значительное улучшение по сравнению с моделью большинства, которая просто предсказывала наиболее распространенный класс и достигала только 45% точности. Базовые языковые модели, к удивлению, не показали лучше результатов, чем модель большинства, обычно присваивая метку «наименее предвзятый» большинству источников.
"Мы использовали большие языковые модели (GPT-4o-mini и LLaMA 3.1), чтобы посмотреть, как они будут работать по сравнению с более мелкими, традиционными моделями машинного обучения", — отметила Телен-Рённбак в интервью. "Они не справились совершенно, хотя стоит отметить, что наша реализация была очень простой. Тем не менее, учитывая, что в настоящее время вокруг больших языковых моделей существует много шума, мы показываем, что они не всегда показывают лучшие результаты, а более мелкие модели могут быть более чем достаточными для многих задач."
Исследователи также изучили, влияли ли разные типы функций на производительность модели. Когда модели обучались только на традиционных предвзятых функциях, таких как тон и сентимент, производительность была ниже. Когда обучались только на альтернативных функциях, таких как покрытие тем и наличие медиа, производительность улучшалась. Но лучшие результаты были достигнуты при использовании всех функций вместе, что указывает на то, что многоаспектный подход к обнаружению предвзятости — который включает в себя, какие темы освещаются, сколько места им отводится и используется ли визуальный контент — создает более точную картину политической предвзятости новостного источника.
"Наша работа использует существующую базу данных, которая отслеживает новости по всему миру (GDELT), чтобы автоматически маркировать политическую предвзятость новостных источников с помощью машинного обучения", — объясняет Телен-Рённбак. "Мы учитываем множество форм предвзятости, что сейчас достаточно редко в этой области. Мы показываем, что (что неудивительно) это значительно упрощает обнаружение политической предвзятости по сравнению с тем, чтобы просто смотреть на одно, узкое выражение предвзятости."
Чтобы сделать результаты интерпретируемыми, исследователи использовали технику объяснимости, независимую от модели, под названием SHAP (Shapley Additive Explanations). SHAP назначает значения значимости каждой функции, используемой в модели, показывая, какие переменные оказали наибольшее влияние на конкретное предсказание. Эти объяснения показали, что функции, относящиеся к числу статей на политически окрашенные темы — такие как владение оружием, экологическое регулирование и мошенничество на выборах — часто были одними из самых информативных. В некоторых случаях более неожиданные темы, такие как природные катастрофы или санитарные условия, также сыграли роль, хотя причины их уместности были менее ясны.
В одном из показательных примеров модель точно классифицировала Breitbart как правое СМИ из-за высокой частоты статей с негативным настроем о темах, связанным с преступностью, таким как наркокартели, похищения и ограбления. Аналогично, The Guardian была правильно идентифицирована как левоориентированная из-за сильного акцента на неравенстве и социальных движениях. Эти прозорливые данные предоставили окно не только в то, какую метку присваивала модель, но и почему она пришла к такому выводу — что адресовало одну из главных критик предыдущих подходов машинного обучения, которые рассматривали модели как "черные ящики".
"Мы используем инструмент объяснимости, чтобы предоставить 'аргументы' для каждой классификации — так что наши модели не просто говорят 'Breitbart прав Т', но и на самом деле показывают, что Breitbart обсуждает много тем, связанных с преступностью, и это подтолкнуло модель к классификации его как правого", — сообщила Телен-Рённбак.
Чтобы протестировать надежность двух систем маркировки, исследователи сравнили, насколько часто Media Bias Fact Check и метод на основе Twitter согласовывались. Они обнаружили, что только 46% веб-доменов имели одинаковую метку в обеих системах, что указывает на значительный уровень несогласия. Однако это не слишком удивительно, учитывая субъективный характер обнаружения предвзятости. Даже два источника, аннотированных людьми — Media Bias Fact Check и другая платформа под названием AllSides — соглашались только по 57% доменов. Это позволяет утверждать, что, хотя метки от экспертов остаются золотым стандартом, автоматически извлеченные метки не становятся существенно хуже и могут быть полезны, когда ручные оценки недоступны.
"Мы пытаемся использовать машины, чтобы охарактеризовать, как новостные источники предвзяты, а не людей", — сказала Телен-Рённбак. "Машинное обучение позволяет нам определить, демонстрирует ли новостной источник предвзятость на более широком масштабе, гораздо быстрее, чем это могут жители — и потенциально теми способами, которые люди могут не учитывать. Например, мы видим, что некоторые неожиданные темы, такие как климатические катастрофы, информативны для моделей, но они часто не рассматриваются человеческими экспертами."
"Новостные источники могут быть предвзятыми многими разными способами, и некоторые из них в настоящее время не учитываются должным образом. Мы надеемся, что изменение этого может помочь области развиваться. Мы также пытаемся предоставить некоторую прозрачность в том, почему конкретный источник признается предвзятым, что становится все более важным, чтобы обеспечить понимание и доверие общества к новостям, которые они потребляют. Надеемся, что это, в дальнейшем, приведет к более информированному обществу и более здоровой политической среде."
Но есть некоторые оговорки, которые следует учитывать. "В настоящее время получение результата требует некоторых технических знаний в области программирования и AI моделей", — отметила Телен-Рённбак. "Мы также полагались на левую-правую политическую раскладку, но это может быть не совсем уместным во всем мире. Тем не менее, наш подход позволяет легко использовать другой набор политических меток, если это необходимо."
Смотрев в будущее, исследователи надеются расширить свою систему на классификацию других аспектов медиа-контента. "В идеале мы смогли бы расширить это от политической предвзятости до других важных аспектов, таких как дезинформация или ненадежность", — объяснила Телен-Рённбак. "Мы сейчас также изучаем не только онлайн-новости, но и интернет в более широком смысле. В частности, мы смотрим на то, как поисковые системы реагируют на поляризующие темы, что очень интересно, так как поисковые системы в настоящее время являются самым надежным источником новостей."
Статья "Автоматическое определение политической предвзятости новостных источников в крупных масштабах" была написана Роней Рённбак, Крисом Эммери и Генри Брайтоном.