Как мозг «считает» награды

Недавнее исследование, опубликованное в журнале Nature Neuroscience, переворачивает наше представление о знаменитом павловском обучении. Оказывается, мозг связывает сигнал и награду не по числу повторений, а по тому, сколько времени проходит между этими наградами. Это противоречит вековым представлениям и заставляет по‑новому взглянуть на то, как учатся животные и люди.

Сто лет считалось, что закрепление связей — это банальное «пробовать снова и снова». Так работает ассоциативное обучение: услышал звонок — получил еду, повторил тысячу раз — научился. Чем больше повторений, тем лучше результат — такой была классическая догма.

Но коллектив исследователей под руководством Vijay Mohan K. Namboodiri из Калифорнийского университета в Сан‑Франциско обнаружил иное. Их математическая модель предполагала: мозг не предсказывает будущее, а откручивает событие назад — от награды к её возможной причине. И вот странность: чем дальше друг от друга расположены награды, тем быстрее животное обучается.

Учёные решили проверить, существует ли строгий закон, определяющий скорость обучения. Ставка была на время между «сигналом» и «нямкой». Для эксперимента взяли 101 взрослую мышь. Животных фиксировали в одном положении, подавали короткий звуковой сигнал и давали подслащённую воду. Если мышь начинает облизывать трубочку по звуку — значит, поняла.

Чтобы заглянуть в мозг, исследователи использовали метод фиброфотометрии. В ядро accumbens ввели флуоресцентный сенсор, который загорается при выбросе дофамина — ключевой молекулы удовольствия и обучения.

Мышей разделили по времени между подачами сигнала и награды: 60 секунд и 600 секунд. И случилось неожиданное: те, кто ждал десять минут, выучили связь примерно в десять раз быстрее по количеству повторений. Но — и это ключевое — общее время, за которое обе группы научились, оказалось одинаковым.

Дофамин полностью повторил поведение: у «длинно-ждущих» мышей мозг начинал реагировать на сигнал гораздо раньше, чем они начинали лизать трубочку. Биология работала строго по временному правилу.

Учёные проверили десятки побочных факторов: новизну награды, время без звуков, частичное подкрепление. Правило сохранялось. Время между наградами полностью определяло скорость обучения.

Даже когда эксперимент сменили с приятного подслащённого питья на неприятный легкий удар током — пропорция осталась прежней. Более длинные интервалы — меньшее количество повторений до полного научения.

Старые модели обучения, основанные на постоянном «подсчёте» ошибки предсказания, не смогли объяснить эти результаты. А новая — «ретроспективная» — легко.

Главный вывод прост: не количество опытов учит мозг, а время между наградами. Увеличили интервал в десять раз — получили в десять раз больше обучения на одну награду. Поэтому за одинаковый период итоговое обучение будет одинаковым, независимо от числа повторений.

Это не «эффект распределённого повторения» из учебников. Там говорится: делай паузы — лучше запомнишь. Здесь другая физика: именно награда, растянутая во времени, усиливает обучение.

Есть ограничения: на экстремальных интервалах правило ломается. Но исследователи уже хотят понять, какая часть мозга «отмеряет» эти промежутки. Также учёные предполагают, что правило может объяснить, например, почему никотиновые пластыри ломают привычку к курению.

И ещё одно: эти принципы могут ускорить обучение искусственного интеллекта. Машинам, которые сегодня учатся на миллиардах попыток, такие биологические находки могут сэкономить годы вычислений.

Авторы исследования: Dennis A. Burke, Annie Taylor, Huijeong Jeong, SeulAh Lee, Leo Zsembik, Brenda Wu, Joseph R. Floeder, Gautam A. Naik, Ritchie Chen и Vijay Mohan K. Namboodiri.