Cómo «cuenta» el cerebro las recompensas

Un estudio reciente publicado en la revista Nature Neuroscience da un vuelco a nuestra idea del célebre condicionamiento pavloviano. Resulta que el cerebro asocia una señal con una recompensa no por el número de repeticiones, sino por el tiempo que transcurre entre las recompensas. Esto contradice ideas centenarias y obliga a mirar de otra manera cómo aprenden los animales y las personas.

Durante cien años se creyó que consolidar asociaciones era cuestión de «intentarlo una y otra vez». Así funciona el aprendizaje asociativo: oyes una campana y recibes comida; lo repites mil veces y aprendes. Cuantas más repeticiones, mejor el resultado: esa era la doctrina clásica.

Pero un equipo de investigadores dirigido por Vijay Mohan K. Namboodiri, de la Universidad de California en San Francisco, descubrió otra cosa. Su modelo matemático planteaba que el cerebro no predice el futuro, sino que rebobina el suceso desde la recompensa hasta su posible causa. Y aquí viene lo extraño: cuanto más separadas están las recompensas, más rápido aprende el animal.

Los científicos decidieron comprobar si existe una ley estricta que determine la velocidad del aprendizaje. La apuesta era el tiempo entre la «señal» y el «premio». Para el experimento utilizaron 101 ratones adultos. Los inmovilizaron en una posición, emitieron una señal sonora breve y les dieron agua azucarada. Si el ratón empezaba a lamer el tubito al oír la señal, significaba que lo había entendido.

Para asomarse al cerebro, los investigadores utilizaron un método llamado fotometría de fibra. Inyectaron en el núcleo accumbens un sensor fluorescente que se ilumina cuando se libera dopamina, una molécula clave en el placer y el aprendizaje.

Dividieron a los ratones según el tiempo entre la señal y la recompensa: 60 o 600 segundos. Y ocurrió algo inesperado: los que esperaban diez minutos aprendieron la asociación unas diez veces más rápido en número de repeticiones. Pero, y esto es lo fundamental, el tiempo total que tardaron ambos grupos en aprender fue el mismo.

La dopamina reprodujo fielmente ese comportamiento: en los ratones que esperaban más, el cerebro empezaba a reaccionar a la señal mucho antes de que ellos comenzaran a lamer el tubito. La biología obedecía estrictamente a la regla temporal.

Los científicos comprobaron decenas de posibles factores secundarios: la novedad de la recompensa, el tiempo sin sonidos y el refuerzo parcial. La regla se mantenía. El tiempo entre las recompensas determinaba por completo la velocidad del aprendizaje.

Incluso cuando cambiaron la agradable bebida azucarada por una pequeña descarga eléctrica desagradable, la proporción se mantuvo: cuanto más largos eran los intervalos, menos repeticiones hacían falta para aprender por completo.

Los antiguos modelos del aprendizaje, basados en un «cálculo» constante del error de predicción, no lograron explicar estos resultados. El nuevo modelo «retrospectivo», en cambio, sí lo hizo sin problemas.

La conclusión principal es sencilla: el cerebro aprende por el tiempo entre recompensas, no por el número de experiencias. Al multiplicar por diez el intervalo, se obtuvo diez veces más aprendizaje por recompensa. Por eso, el aprendizaje total al cabo del mismo periodo será igual, independientemente del número de repeticiones.

Esto no es el «efecto de la práctica espaciada» de los libros de texto, que dice que hacer pausas ayuda a recordar mejor. Aquí la mecánica es otra: es la recompensa, distribuida a lo largo del tiempo, la que potencia el aprendizaje.

Hay limitaciones: la regla deja de funcionar con intervalos extremos. Pero los investigadores ya quieren averiguar qué parte del cerebro «mide» esos intervalos. También creen que la regla podría explicar, por ejemplo, por qué los parches de nicotina ayudan a romper el hábito de fumar.

Y hay algo más: estos principios podrían acelerar el aprendizaje de la inteligencia artificial. Para las máquinas que hoy aprenden a partir de miles de millones de intentos, estos hallazgos biológicos podrían ahorrar años de cálculos.

Los autores del estudio son Dennis A. Burke, Annie Taylor, Huijeong Jeong, SeulAh Lee, Leo Zsembik, Brenda Wu, Joseph R. Floeder, Gautam A. Naik, Ritchie Chen y Vijay Mohan K. Namboodiri.