«Озвучка мыслей»: как ИИ переводит активность мозга в текст

«Озвучка мыслей»: как ИИ переводит активность мозга в текст

Учёные снова взялись за наши черепные коробки. Исследователь Томоясу Хорикава из Японии решил выяснить, можно ли не только узнать тайные мысли человека, но и превратить их в осмысленный текст. Вот и результат: новая технология, описанная в Science Advances, научилась переводить активность мозга в текст — даже если человек ничего не говорит, да и думать словами не спешит. Говоря проще, ИИ не расшифровывает конкретные слова, а угадывает «немые» представления, которые появляются в голове до того, как мысль облекается в речь.

Как всё это работает? В эксперименте шесть добровольцев-заключённых (шутка!) смотрели короткие, совершенно беззвучные ролики. Мозг испытуемых сканировали с помощью функционального МРТ (это такой способ посмотреть, что творится в мозговых клетках, когда что-то происходит), одновременно записывая все всплески и затишья нейронов. Потом те же участники пытались вспомнить, что видели на экране, а сканеры продолжали подглядывать в их мыслительные процессы.

И вот, оказывается, даже когда человек молчит, в голове остаётся «структурированная» картинка происходящего. Хорикава построил алгоритм из нескольких частей: сначала нейросеть на основе модели DeBERTa переводит сырые данные скана мозга в так называемые семантические признаки — что-то вроде смысловых маркеров. На выходе другой ИИ (RoBERTa), по этим признакам, начинает собирать осмысленные описания. Получилось довольно забавно: машина научилась сочинять фразы, отражающие и реальное содержание роликов, и то, как участники их запомнили. От «человек держит яблоко» до «женщина улыбается ребёнку». Причём, если переставить слова в тексте, смысл теряется, ведь важна не только лексика, но и структура!

Результаты тестов? Алгоритм с вероятностью почти 50% угадывал, какой именно ролик просматривал человек, при том что шанс случайного попадания был всего 1%. Даже если участники просто вспоминали видео, ИИ всё равно генерировал достаточно реалистичные описания.

Любопытно: описания строились даже когда из анализа исключали «речевые» зоны мозга. Получается, что наши мысли давно разложены по ящикам — не обязательно только в языковом отсеке. Занятно: машина не просто называла предметы, но и ловила отношения между ними: кто что делает, кто кому что передаёт.

Хорикава не скрывает: за этой игрой с мыслями может скрываться будущее понимание природы сознания, а у людей с нарушениями речи — шанс на новую коммуникацию. Но спешить бояться не стоит. Технология требует длительной тренировки на каждом человеке — на улицах мыслей пока не снимают. Есть нюанс: пока неясно, как система справится с очень личными образами, вроде снов или абстрактных идей. В переводе мозговых картинок в текст есть риски — этические и технологические.

Будет ли это когда-нибудь массовым инструментом? Сериал «человек-читатель мыслей» получит новые сезоны. А пока — учёные переводят внутренний театр сознания на язык, понятный другим.