Мозг понимает, кто на кого напал. ИИ — пока не очень

Исследование на основе фМРТ показало: большие языковые модели (LLM) иначе, чем человеческий мозг, представляют смысл предложений, когда он зависит от порядка слов. Мозг лучше соотносится с моделями, которые отдельно учитывают грамматические роли — кто совершает действие и на кого оно направлено. Это не доказывает, что чат-боты вообще не понимают язык, но показывает, что их внутренние представления смысла не вполне похожи на человеческие.

Читая фразу, человек не просто складывает значения отдельных слов. Он учитывает синтаксис и семантические роли. Поэтому предложения «собака укусила мужчину» и «мужчина укусил собаку» различаются по смыслу, хотя слова в них одинаковые. Исследование 2015 года показало, что соседние участки левой височной коры — области мозга, участвующей в понимании языка, — по-разному отслеживают действующее лицо и того, на кого направлено действие.

Языковые модели устроены иначе. Трансформеры, лежащие в основе таких систем, как ChatGPT, Claude и Llama, обучаются предсказывать слова на больших массивах текстов. Значения слов и предложений они кодируют числовыми векторами, или эмбеддингами. Сходство этих векторов с активностью мозга стало способом проверить, насколько машинная обработка языка похожа на человеческую.

Предыдущие исследования находили заметное совпадение между представлениями трансформеров и мозговой активностью. Однако критики указывали, что высокие показатели могут объясняться особенностями проверки данных и простыми эффектами, например сходством соседних измерений. В новой работе исследователи специально отделили влияние словаря от влияния порядка слов.

Работу провёл Джеймс Фодор из Университета Мельбурна вместе с Карстеном Муравски и Синсукэ Судзуки из Университета Хитоцубаси. Фодор сейчас работает постдокторантом на кафедре машинного обучения Университета Карнеги — Меллона. По его словам, команда хотела выяснить, действительно ли модели понимают язык по-человечески или лишь убедительно воспроизводят его формы.

Исследователи составили 108 коротких английских предложений с одним сказуемым и разделили их на шесть групп. Основой служили описания событий, например «оператор привёз оборудование режиссёру». Затем в предложения добавляли прилагательные, время или место либо заменяли существительные и глаголы. Особенно важны были пары, где слова почти не менялись, но существительные менялись грамматическими ролями: например, «режиссёр привёз оператора к оборудованию». Всего получили 5778 пар предложений, из них 918 внутри одних и тех же групп имели почти одинаковый словарь. Чтобы различить такие пары, нужно было учитывать структуру.

Сравнили четыре подхода. Первый усреднял векторы слов и игнорировал порядок. Второй объединял пять трансформерных моделей: ERNIE 2.0, AMRBart, SentBERT, DefSent и эмбеддинги OpenAI. Третий представлял предложение в виде графа смысловых связей — Abstract Meaning Representation. Четвёртый, гибридный, с помощью GPT-4 размечал слова по восьми ролям, включая глагол, действующее лицо, объект действия, время и место, а затем строил отдельные векторы для каждой роли. Веса ролей взяли из предыдущей работы 2024 года. Основные прогнозы зарегистрировали заранее, а данные и код выложили открыто.

В эксперименте с фМРТ участвовали 39 носителей английского языка в возрасте от 18 до 40 лет; средний возраст — 22 года. Девять человек исключили из-за движений головой или низких результатов проверок внимания. Порог внимания по ходу работы снизили с заранее заявленных 75% до 70%, что позволило включить одного дополнительного участника. В итоговой выборке осталось 30 человек. В сканере мощностью 7 тесла участники четыре раза читали все предложения — каждое предъявлялось на 2–7 секунд — и отвечали на 40 вопросов по содержанию.

Учёные анализировали активность за средние три секунды каждого предъявления, а не за последние три, как планировали заранее; анализ последнего интервала дал сходные, но более слабые результаты. Они отобрали участки мозга, стабильно реагировавшие в языковой сети и других областях коры, за исключением ранних зрительных зон. Методом анализа репрезентативного сходства сравнили паттерны активности для каждой пары предложений и проверили, насколько оценки моделей совпадали с тем, какие пары мозг считал похожими. При этом учитывали различия в длине предложений.

На всех 5778 парах все четыре подхода положительно соотносились с активностью языковой сети. При индивидуальном анализе разница между усреднением слов и трансформерами не была статистически значимой; небольшое преимущество показала гибридная модель, а лучше всего совпадал графовый подход.

Но на 918 парах с почти одинаковым словарём картина изменилась. Модель усреднения слов сильно расходилась с мозгом: она считала предложения с переставленными ролями почти одинаковыми, тогда как мозг различал их. Трансформеры превосходили этот простой базовый подход, но их общая связь с мозговой активностью на таких парах всё равно была отрицательной. Гибридная и графовая модели показали умеренное положительное совпадение; статистически значимой разницы между ними не обнаружили.

Трансформеры оценивали перестановку ролей примерно так же, как добавление указания на время или место. Структурные модели, напротив, снижали сходство предложений с разными участниками действия — как и мозг. Авторы подчёркивают: вывод не в том, что конкретная гибридная модель лучше всех вообще, а в том, что усреднение слов и обычные трансформерные представления недостаточно чувствительны к тому, кто что сделал и с кем.

Корреляции были небольшими: около −0,05 для среднего показателя трансформеров и 0,07 для гибридной модели на парах с одинаковым словарём. Для шумных данных фМРТ это типичный масштаб, а направление эффекта повторялось у участников. Фодор отмечает, что практические последствия для использования LLM в повседневных задачах исследование не проверяло.

Анализ слоёв Llama 3 выявил небольшую положительную связь с мозговой активностью только во втором и третьем слоях, а начиная с четвёртого связь была отрицательной. После учёта активности зрительной коры раннее совпадение резко ослабло. Авторы считают, что оно могло отражать поверхностные визуальные признаки, например длину текста.

В языковой сети структурные модели лучше всего совпадали с активностью височных областей, хотя и лобные участки реагировали как на словарь, так и на структуру. Совпадение находили и за пределами языковой сети, например в сети пассивного режима работы мозга. При этом на парах с одинаковым словарём сильнейшая связь графовой модели обнаружилась в зрительной коре — рецензент указал, что это может быть смешивающим фактором, связанным с визуальными особенностями текста.

Длинные предложения вызывали сходные паттерны активности в нескольких областях независимо от смысла. Это может объясняться нагрузкой на память, более глубокой обработкой или общими грамматическими ролями. Даже после учёта минимальной длины предложений и активности зрительной коры гибридная модель сохраняла положительное совпадение на парах с одинаковым словарём, а трансформеры и усреднение слов — отрицательное.

В отдельном онлайн-исследовании на платформе Prolific 502 носителя английского языка из Австралии и США (средний возраст — 30 лет) оценивали сходство пар по шкале от 1 до 7. После проверки внимания осталось 486 участников. На всех 5778 парах с человеческими оценками лучше всего совпадали трансформеры и модель усреднения слов. Но на 918 парах с похожим словарём усреднение оказалось последним, а гибридная модель — первой; за ней шли трансформеры, затем графовая модель. Люди считали предложения с переставленными ролями более похожими друг на друга, чем гибридная модель, — их оценки оказались между оценками трансформеров и гибридного подхода.

В дополнительном, не зарегистрированном заранее тесте исследователи попросили GPT-4 напрямую оценить сходство каждой пары от 0 до 1. Эти ответы совпали с человеческими оценками лучше, чем внутренние векторы любой из проверенных моделей. По мнению авторов, это говорит о различии между способностью LLM использовать грамматику для ответа на вопрос о смысле и тем, как их внутренние представления организуют синтаксис и значение.

Результаты отличаются от исследования, в котором активность мозга во время спонтанного разговора лучше совпадала с высокоуровневыми семантическими слоями языковых моделей, чем с представлениями отдельных слов. Там изучали свободную беседу, а не специально составленные предложения, позволяющие изолировать порядок слов. Новые выводы также согласуются с другой работой, показавшей, что мозг отслеживает иерархию слов, словосочетаний и предложений даже без статистических подсказок.

Редакционная оценка eLife назвала доказательства убедительными, но отметила, что стимулы были строго контролируемыми. В опыте использовали 108 одночастных предложений с повторяющимися конструкциями, а не естественный диалог. На всех парах трансформеры лучше совпадали с человеческими оценками, а отдельные трансформеры в некоторых анализах активности мозга превосходили гибридную модель. Однако после учёта зрительной коры все трансформеры уступали обеим моделям, явно кодировавшим структуру.

Большинство проверенных трансформеров были системами, специально созданными для получения векторов предложений, плюс Llama 3. Внутреннее устройство чат-ботов GPT-4 и Claude в исследовании не анализировали. Кроме того, оценки людей почти не коррелировали с фМРТ-паттернами на парах с одинаковым словарём. Авторы предполагают, что причина — в различии задач: человек сравнивал предложения бок о бок, тогда как участник сканирования читал их по одному.

У работы есть и другие ограничения. Активность мозга усредняли в одном трёхсекундном окне на предложение, хотя в действительности смысл складывается постепенно, слово за словом. Для сравнения векторных и графовых моделей применяли разные математические метрики сходства, что могло влиять на результаты. В дальнейшем исследователи хотят связать представления моделей с последовательной нейронной активностью и изучить более сложные предложения и повествования.

Авторы не утверждают, что LLM не способны создавать осмысленные тексты. Их вывод скромнее: модели, вероятно, понимают язык не так, как люди. Успешное выполнение задачи на человеческом уровне само по себе не означает, что компьютер решает её человеческим способом; при применении вне условий обучения это различие может привести к неожиданным ошибкам. Исследование «Большие языковые модели плохо улавливают, как порядок слов формирует представления о смысле предложения в человеческом мозге» подготовили Джеймс Фодор, Карстен Муравски и Синсукэ Судзуки.