Как ИИ путается в метафорах Трампа: новые исследования возможностей и провалов ChatGPT

Президентские речи Дональда Трампа недавно стали объектом пристального изучения для масштабных языковых моделей — компьютерных программ, создающих тексты на "естественном языке" вроде человеческой речи. Учёные рассмотрели четыре ключевые речи Трампа (с лета 2024 по весну 2025 года): это речь о принятии номинации республиканцев после покушения, речь после победы на выборах, инаугурационная речь и обращение к Конгрессу США — суммарно более 28 тысяч слов. Главное в речах: обилие метафор, эмоциональность, цитаты в стиле "Вернём Америке достоинство" — то, что так любит электорат. Исследование показало, что искусственный интеллект вроде ChatGPT способен находить метафоры в подобных текстах, но с немалыми трудностями.

Масштабные языковые модели (Large Language Models, LLM) обучаются на огромных массивах текстов (книги, сайты, диалоги), вылавливая закономерности между словами. Они пишут сочинения, кратко пересказывают документы и поддерживают беседы. Однако у них нет настоящего понимания языка. Они угадывают следующее слово по статистике. Это иногда выглядит правдоподобно, но с абстрактными метафорами и эмоционально заряженным текстом у них проблемы.

Учёные использовали критический анализ метафор, приспособили его под ChatGPT-4 и заставили модель проходить пошагово: понять контекст речи, выявить потенциальные метафоры, классифицировать их по темам и объяснить их эмоциональное или идеологическое воздействие. В итоге, из 138 предложений ИИ правильно нашёл 119 метафор — точность около 86%. Но при внимательном рассмотрении вскрылись типичные ошибки: путаница метафор с другими образными выражениями (например, сравнение, гипербола), переусложнение простых фраз, ошибки в определении имён собственных. Например, выражение "Washington D.C., which is a horrible killing field" модель ошибочно приняла за метафору, хотя это буквальное, хоть и выразительное сравнение. Фраза "a series of bold promises" была воспринята как пространственная метафора, хотя автор имел в виду просто череду обещаний. Даже "Iron Dome" — название израильской системы ПРО — ChatGPT воспринял как метафору, а не собственное имя.

Самое интересное — модель справлялась лучше с привычными метафорами (темы движения, силы, борьбы), например: "We rise together" или "Bring law and order back" сразу записывались в метафорический актив. А вот с метафорами из кулинарии или ботаники — провал: в "растительной" категории не нашла ни одной удачной метафоры, а про кулинарию написала кучу лишнего. Иными словами, ChatGPT лучше видит шаблонные образы, а вот понять редкие, культурно сложные конструкции — увы, не его конёк.

Сравнение с классическими инструментами (Wmatrix и MIPVU) показало: ChatGPT быстрее и полегче в работе, но с точностью скользко — особенно на стыке необычной лексики. Плюс сыграла роль уязвимость к форме запроса: чуть поменяй формулировку — получаешь другие результаты. Всё это снижает надёжность и не даёт полностью доверять ИИ в разборе политических текстов.

Лингвисты подчеркивают: массовые языковые модели обучаются на необработанных интернет-данных, где тексты редко размечены и недостаточно описаны культурно-исторические контексты. Это мешает системе уловить истинный смысл политических, идеологических и эмоциональных высказываний. Итог исследования — такие ИИ хороши как помощники, но не как самостоятельные эксперты. Особенно в деле политических метафор, где многое строится на опыте, чувствительности и культурных кодах.

Статью подготовили Хаохан Мэng, Xiaoyu Li и Цзиньхуа Сун. Исследование вышло в журнале Frontiers in Psychology.