ИИ раскрывает тайны танца

Танец — это одна из немногих человеческих деятельностей, которая объединяет восприятие ритма звука и визуальное восприятие движений. Новое исследование использует передовой искусственный интеллект (ИИ) для расшифровки, как мозг обрабатывает этот сложный вид искусства. Учёные показали, что компьютерные модели могут точно предсказывать нейронную активность у зрителей танцевальных выступлений. Более того, профессиональные танцоры воспринимают эти представления иначе, чем новички, проявляя высокое разнообразие нейронных реакций.

Долгие годы нейронаука изучала, как мозг интерпретирует сенсорную информацию. Традиционные методы обычно используют простые и изолированные стимулы: короткий звук или вспышку света, чтобы определить, какие нейроны активируются. Однако такой подход упускает реальную сложность, где звуки и образы всегда сливаются в одно целое. Человеческий мозг почти никогда не воспринимает звук или зрение по отдельности.

Чтобы преодолеть эти ограничения, исследователи обратились к танцу — природному слиянию движения тела и музыки. Ранние эксперименты либо показывали участникам немые видео танца, либо воспроизводили музыку без визуальной поддержки, разрывая тем самым единство ритма и движения.

Команда учёных под руководством Ю Таги и Хироши Имамидзу из Токийского университета решила исправить это с помощью ИИ. Задача состояла в том, чтобы понять, может ли компьютер имитировать восприятие таких комплексных сенсорных комбинаций, а также выяснить, отличается ли мозг профессионального танцора от новичка.

В эксперименте приняли участие 14 человек: 7 опытных танцоров с более чем пятилетним стажем и 7 без какого-либо профессионального опыта. Они смотрели пять часов видеоклипов уличных танцев (хип-хоп, локинг, поппинг) в аппарате функционального магнитно-резонансного томографа (фМРТ), фиксирующего активность мозга по кровотоку.

Для анализа собранных данных учёные применили глубокую генеративную ИИ-модель EDGE, которая умеет создавать реалистичные хореографии на основе аудиотрека, фактически «визуализируя» танец под музыку.

Из этой модели извлекли математические характеристики движения, аудио и их синтез — кросс-модальные данные. Построенные кодировочные модели показали, что именно эти кросс-модальные признаки лучше всего объясняют активность мозга, чем чистое движение или звук по отдельности.

Максимально точные предсказания приходились на высокоуровневые ассоциативные участки мозга, объединяющие разные сенсорные сигналы. Это говорит о том, что мозг не просто воспринимает движение и музыку отдельно, а интегрирует их в единое ощущение. ИИ предсказывает следующий танцевальный шаг, и успех модели наталкивает на мысль, что мозг функционирует похожим образом.

Интересно, что мозг танцоров-экспертов проявлял большую индивидуальность — каждый воспринимал танец по-своему, в отличие от новичков, чья активность была более однородной. Это опровергает популярное мнение о том, что экспертность выравнивает восприятие, наоборот — глубокие знания усиливают личностный подход.

Эксперты mieux интерпретировали детали хореографии, но вместе с тем каждый выявлял уникальные паттерны в мозгу. Профессор Имамидзу отметил: «Наш симулятор мозговой активности точнее предсказывает ответы экспертов, и при этом у профессионалов проявляется больше разных паттернов, чем у новичков».

Исследование также рассмотрело эмоциональную сторону танца. Большая группа зрителей оценила клипы по эстетике, динамике и скуке, а эти субъективные оценки связали с нейронной активностью. Скука коррелировала с уменьшением активации сети «режима по умолчанию» — зон, активных при отдыхе мозга. Динамика наоборот активировала эти области. Эстетическое восприятие включало визуальные и более сложные зоны обработки, что говорит о диалоге между простым восприятием и глубоким анализом.

Модель проверили, сгенерировав танцы, где движения не совпадали с музыкальным стилем. Предсказание показало, что согласованные пары усиливают сенсорные реакции, а несовпадения активируют лобные зоны — возможно, мозг чувствует диссонанс и сигнализирует об ошибке.

Однако, важные ограничения сохраняются. Эксперимент сосредоточен на уличных танцах, где музыка и движение плотно связаны. Неясно, применимы ли выводы к современному танцу с более свободным стилем. Также участники были статичны в сканере, что не совпадает с живым наблюдением спектакля.

И наконец, все участники наблюдали танец, но сами не танцевали — понимание работы мозга во время реального движения остаётся задачей на будущее, с массой технических вызовов.

Тем не менее, этот проект — серьёзный шаг к объединению нейронауки и искусства при помощи современных компьютерных методов. Учёные надеются, что их разработки будут полезны хореографам и помогут объяснить всемирную привлекательность танца.

«Мы мечтаем, чтобы наш симулятор мозговой активности стал инструментом для создания новых танцевальных стилей, которые трогают сердца людей», — говорит Имамидзу.

Статья называется «Cross-modal deep generative models reveal the cortical representation of dancing», авторы — Ю Таги, Даичи Симидзу, Мина Вакаябаши, Рю Охата и Хироши Имамидзу.