Как мозг учится предсказывать награды

Исследователи обнаружили, что гиппокамп — область мозга, отвечающая за память и ориентацию в пространстве — не просто хранит воспоминания, но и активно перестраивает свою работу, чтобы предугадывать будущее. Учёные заметили, что у мышей, обучающихся сложному заданию, нейронные сигналы, связанные с наградой, начали смещаться назад во времени, словно мозг старается опередить события. Работа опубликована в журнале Nature.

Гиппокамп — небольшая структура в форме морского конька, расположенная глубоко в височных долях мозга. Он давно известен как центр формирования воспоминаний. Кроме того, гиппокамп создаёт так называемую когнитивную карту — внутреннюю модель окружающего мира, позволяющую ориентироваться в пространстве.

Раньше считалось, что такая карта довольно статична: она фиксирует границы, ориентиры и места, где можно найти еду. Но для выживания мало знать прошлое — нужно уметь предсказывать будущее. Это привело к развитию теории предсказательного кодирования: мозг непрерывно строит модели мира, чтобы оценивать будущие события. Если прогноз оправдывается, модель подтверждается. Если нет — мозг её обновляет.

Однако наблюдать за перестройкой нейронных карт в реальном времени было сложно. Большинство технологий записи активности мозга работают лишь короткое время. Поэтому долгое обучение животных оставалось «слепой зоной» исследований.

Эту проблему решил Мохаммад Ягхуби из Университета Макгилла. Вместе с руководителем исследования Марком Брендоном из Исследовательского центра Дугласа он разработал эксперимент, позволивший отслеживать одни и те же нейроны в течение нескольких недель. Цель — выяснить, перестраивает ли гиппокамп свою карту так, чтобы заранее предсказывать награду.

Для этого использовали метод кальциевой визуализации. Учёные ввели мышам модифицированный вирус, из-за которого нейроны начинали светиться при активации, когда в них поступал кальций. Затем исследователи имплантировали крошечный оптический элемент, напоминающий миниатюрную линзу, над гиппокампом. К нему крепилась небольшая камера, которая фиксировала свечения нейронов во время свободного поведения животных.

Так как метод основан на оптической съёмке, ткань мозга повреждается меньше, и камеры могут наблюдать одни и те же нейроны неделями. Это позволило сопоставлять работу конкретных клеток с поведением мышей.

Животных обучали задаче под названием «отсроченное несовпадение с местоположением». В автоматизированной камере с сенсорным экраном мышь видела подсвеченную точку, затем после паузы — два варианта, старый и новый. Чтобы получить награду — немного клубничного молочного коктейля — ей нужно было нажать на новый вариант. Задача требовала удерживать информацию в рабочей памяти и применять правило.

В начале эксперимента исследователи заметили, что отдельная группа нейронов активно срабатывала при получении награды. Мозг явно «радовался» молочному коктейлю. Но по мере тренировки эти нейроны начинали вести себя иначе: их активность постепенно смещалась назад во времени — сначала к моменту подхода к наградному отсеку, а затем и к моменту правильного выбора на экране.

По сути, клетки превратились из детекторов текущей награды в предсказателей будущей. К тому моменту, когда мыши овладевали навыком, мозг уже «знал», что награда будет, и упреждал событие за секунды до его наступления.

Исследователи также увидели, что на ранних этапах много клеток кодировало саму награду. Но когда животное научилось, число таких клеток уменьшилось, а больше клеток переключилось на кодирование выбора и подхода к награде. Мозг экономил ресурсы: если награда ожидаема, нет смысла тратить лишние клетки на её обозначение.

Учёные убедились, что смещение активности не связано со скоростью или положением мыши. Это действительно перестройка когнитивной карты. Повторяемость эффекта у разных животных говорит о фундаментальном механизме.

Подобные процессы могут объяснить проблемы с памятью при нейродегенеративных заболеваниях, например болезни Альцгеймера, когда человек теряет способность ориентироваться и предсказывать последствия.

Авторы предупреждают: исследования проводились на мышах, а человеческий мозг сложнее. Также пока неизвестно, работает ли механизм для негативных событий.

Однако главное открытие очевидно: гиппокамп не просто хранит прошлое. Он активно перестраивает его, чтобы подготовиться к будущему.

Статья «Предсказательное кодирование награды в гиппокампе» опубликована Мохаммадом Ягхуби, Андресом Ньето-Посадасом, Корали-Анн Моссер, Томасом Жижье, Эмманюэлем Уилсоном, Сильваном Уильямсом и Марком Брендоном.