Две трети AI-ссылок — фейки: исследование подставляет науку

Новое исследование, опубликованное в журнале JMIR Mental Health, бьёт тревогу: почти две трети библиографических ссылок, сгенерированных искусственным интеллектом, оказываются сфабрикованными или содержат ошибки. Особо плохо становится, когда просьба к AI касается неочевидных или узкоспециализированных тем.

В последние годы наука всё больше полагается на большие языковые модели (Large Language Models, LLMs) типа GPT-4o для ускорения рутинных задач. Эти мощные алгоритмы обучаются на огромном массиве текстов из открытых и лицензированных источников и умеют писать тексты, резюмировать и даже программировать. Но есть проблема — так называемые "галлюцинации". Так называют уверенно написанные, но по сути ложные утверждения. В научных работах это выливается в поддельные ссылки на несуществующие публикации — а это основа любой серьёзной статьи.

Авторы исследования из Университета Дикина (Австралия) решили выяснить: зависит ли точность ссылок от "популярности" темы в научной среде или глубины материала? Провели эксперимент — "заставили" GPT-4o написать шесть обзоров по психическим расстройствам с разной степенью изученности: депрессивное расстройство (хорошо изучено), компульсивное переедание (менее известно), и дисморфофобия (малоизвестно). Для каждого — общий и узкоспециализированный обзор.

AI попросили выдать по 20 ссылок в каждом тексте. Итог: из 176 сгенерированных ссылок 35 оказались полностью выдуманными, а почти половина из "реальных" содержали ошибки — не тот год, том, автор или неверный идентификатор статьи. В сумме — 2/3 ссылок неточные или фиктивные.

Чем менее известна тема, тем хуже результат. В обзорах по депрессии только 6% ссылок были поддельными, а вот по компульсивному перееданию и дисморфофобии — уже 28% и 29%. Если спрашивать про детали (например, цифровые интервенции), AI врёт чаще: до 46% подделок по теме переедания.

Вывод? Научное сообщество должно быть настороже при использовании AI и проверять каждую ссылку вручную. Журналы и университеты, возможно, даже пересмотрят редакционные стандарты.