Мозг напел алгоритму
Следите за новостями по этой теме!
Подписаться на «Психология / Научные исследования»
Учёные научились восстанавливать общую структуру мелодий, которые человек лишь мысленно прокручивает в голове. Исследование опубликовано в журнале eNeuro. Компьютерная модель анализировала не точную высоту каждой ноты, а отношения между соседними звуками — то есть относительную высоту. Благодаря этому она смогла по записям мозговой активности определить, где воображаемая мелодия поднимается, а где опускается.
Относительная высота — это расстояние между нотами. Поэтому «Twinkle, Twinkle, Little Star» остаётся той же песней, даже если её сыграть на высокой флейте или низкой тубе: меняется тональность, но сохраняется рисунок переходов между звуками. Именно такие связи мозг, по-видимому, кодирует надёжнее, чем абсолютные акустические частоты.
Команда исследователей под руководством Jii Kwon и Chun Kee Chung из Сеульского национального университета провела небольшой эксперимент с 10 пациентами с лекарственно-устойчивой эпилепсией. Для клинического наблюдения у них уже были хирургически установлены электроды непосредственно на поверхности мозга. Этот метод называется электрокортикографией и позволяет регистрировать более детальные сигналы, чем электроды на коже головы.
Участники слушали короткие отрывки знакомых детских песен, включая «Yankee Doodle», исполненные в трёх тональностях. Затем они слушали первые два такта и мысленно представляли следующие два. После этого пациенты напевали продолжение вслух, чтобы исследователи могли проверить, действительно ли они удерживали мелодию в голове.
Во время мысленного воспроизведения учёные анализировали высокочастотную гамма-активность мозга — колебания от 60 до 150 раз в секунду, связанные с активной обработкой информации. Особенно полезными оказались сигналы из верхней височной извилины с обеих сторон мозга, участвующей в обработке звуков. Дополнительную информацию дал левый прецентральный отдел, связанный с планированием движений. Возможно, мысленное пение включает репетицию действий, необходимых для настоящего пения.
Модель разбила записи на интервалы по полсекунды и училась относить их к шести классам: «До», «Ре», «Ми», «Фа», «Соль» и «Ля». На новых данных она правильно определяла отдельную воображаемую ноту примерно в 26% случаев. Это немного, но случайный выбор дал бы около 16%, поэтому модель извлекала из мозга реальную музыкальную информацию.
Попытка определить абсолютную высоту звука оказалась безуспешной: результат не отличался от случайного. Зато последовательное объединение отдельных прогнозов позволило восстановить общий мелодический контур — направление движения песни вверх и вниз. Даже ошибаясь в некоторых нотах, алгоритм в целом сохранял форму мелодии.
До полноценного «чтения музыки из головы» ещё далеко. Исследование было небольшим, использовало только хорошо знакомые детские песни и требовало хирургически имплантированных электродов. Поэтому неизвестно, получится ли так же расшифровывать новые или спонтанно придуманные мелодии. В будущем учёные намерены проверить неинвазивные методы и расширить модели на большее число нот и октав.
Работа называется «Reconstruction of Imagined Melody with Relative Pitch Decoding in Electrocorticography». Её авторами стали Jii Kwon, Youmin Shin, June sic Kim, Eunju Jeong, Sung-Phil Kim, Eun Jung Lee и Chun Kee Chung.
PEREC.RU
Исследователи Jii Kwon и Chun Kee Chung из Сеульского национального университета провели небольшое исследование, посвящённое расшифровке воображаемых мелодий по активности мозга. Результаты опубликованы в журнале eNeuro. Учёные исходили из того, что человек обычно узнаёт мелодию не по абсолютной частоте каждой ноты, а по относительной высоте — расстоянию и направлению переходов между соседними звуками. Поэтому одна и та же песня сохраняется как узнаваемая мелодия при исполнении в разных тональностях и на разных инструментах.
В эксперименте участвовали 10 пациентов с лекарственно-устойчивой эпилепсией. Для медицинского наблюдения у них уже были хирургически установлены электроды на поверхности мозга. Метод электрокортикографии позволяет регистрировать высокочастотную электрическую активность непосредственно с коры и получать более подробные данные, чем внешние электроды на коже головы.
Пациенты слушали короткие фрагменты знакомых детских песен, включая «Yankee Doodle», исполненные в трёх тональностях. Они слушали первые два такта, затем молча представляли следующие два и после завершения периода воображения напевали мелодию вслух. Во время мысленного воспроизведения исследователи анализировали высокогамма-активность с частотой от 60 до 150 колебаний в секунду. Наиболее полезными оказались сигналы верхней височной извилины в обоих полушариях, участвующей в обработке звуков, а также левого прецентрального отдела, связанного с планированием движений.
Машинную модель обучали распознавать шесть классов относительной высоты, соответствующих слогам сольфеджио «До», «Ре», «Ми», «Фа», «Соль» и «Ля». Записи делили на интервалы по полсекунды. На новых данных модель правильно определяла отдельную воображаемую ноту примерно в 26% случаев. Это выше случайного результата, который составлял бы около 16%. Когда модель пыталась определить абсолютную акустическую частоту нот, её результат не отличался от случайного и статистически значимого успеха не показал.
Главный результат проявился при анализе последовательности. Объединив прогнозы отдельных нот во времени, исследователи смогли восстановить общий мелодический контур — чередование подъёмов и спадов. Даже при ошибках в отдельных нотах общая форма воображаемой песни часто совпадала с оригиналом.
Работа пока не означает, что мысли можно воспроизводить как точную аудиозапись. Исследование основано на небольшой группе пациентов, использовало только знакомые детские песни и требовало инвазивных электродов. Неясно, будут ли так же устойчиво декодироваться новые или самостоятельно сочинённые мелодии. В дальнейшем учёные планируют исследовать неинвазивные методы записи мозговой активности и расширить модели на большее количество нот и октав.
