El enigma de las rampas de dopamina: ya tiene solución

Los científicos han desarrollado un nuevo modelo computacional para explicar por qué el nivel de dopamina en el cerebro aumenta lentamente a medida que se acerca una recompensa esperada. La clave está en combinar dos tipos distintos de aprendizaje, lo que permite al cerebro revisar sus expectativas con mayor rapidez y resuelve un viejo enigma de la neurociencia. Los resultados se han publicado en la revista eLife.

La dopamina es una sustancia química relacionada con el aprendizaje, la motivación y el movimiento. Durante años se creyó que indicaba un error de predicción de recompensa: si un animal recibe un premio inesperado, las neuronas dopaminérgicas se activan y así «le dicen» al cerebro que toca revisar sus expectativas. Esa información se almacena en el cuerpo estriado, una región cerebral. Cuando el proceso se vuelve completamente predecible, los errores de predicción deberían desaparecer.

Sin embargo, los estudios que medían la dopamina durante tareas de desplazamiento mostraron un fenómeno enigmático: a medida que el animal se acerca a una recompensa conocida, el nivel de dopamina aumenta gradualmente, como si la recompensa no fuese predecible en absoluto. Los modelos clásicos no pueden explicar por qué el error de predicción sigue creciendo allí donde, en teoría, no tendría motivo para hacerlo.

Luke Priestley y Thomas Akam, de la Universidad de Oxford, intentaron resolver esta contradicción desarrollando un modelo informático con dos procesos de aprendizaje. El primero es lento, se basa en la memoria y se almacena en los ganglios basales. El segundo es rápido y construye de forma flexible y sobre la marcha un mapa de valores basado en un modelo interno del entorno (probablemente se encarga de ello la corteza frontal).

En este esquema, al actualizar sus expectativas, el cerebro compara la predicción actual (del sistema lento) con el «objetivo actualizado» (calculado por el proceso rápido). Como el proceso rápido anticipa que la recompensa está cerca, la brecha entre el objetivo actual y la predicción rezagada aumenta a medida que se acerca el objetivo, y eso provoca el aumento gradual de dopamina.

Priestley y Akam probaron el modelo en una tarea simulada: un animal virtual recorría un camino recto en busca de una recompensa. Su modelo de dos procesos aprendía más rápido que los modelos habituales y reproducía con precisión esa subida de dopamina que los modelos clásicos no conseguían explicar.

Cuando el ratón virtual aprendía a distinguir entre recompensas grandes y pequeñas, la subida característica de dopamina desaparecía gradualmente a medida que acumulaba experiencia, tal como se observa en animales reales. Esto confirmaba que, cuando los sistemas lento y rápido se ponen totalmente de acuerdo, la «rampa» de dopamina desaparece.

En laberintos nuevos y desconocidos, los animales reales muestran una subida de dopamina desde los primeros intentos exitosos. El modelo lo reprodujo en agentes virtuales: el sistema rápido crea enseguida un mapa interno y modifica las predicciones.

También se probó el modelo en situaciones con varios caminos hacia un mismo objetivo. En ese caso, el cerebro rápido reajusta al instante el perfil de dopamina en todos los caminos si se cambia la recompensa en uno de ellos.

Además, se simularon los «teletransportes» repentinos o los cambios de velocidad típicos de los experimentos con ratones: los saltos y las pendientes de la curva de dopamina coincidieron con las mediciones en animales vivos.

Al simular una situación en la que el ratón virtual se orienta con dificultad (por ejemplo, cuando se apaga la luz), la subida se transformaba en una especie de «jorobas» de dopamina, igual que en los animales reales: cuanto peor es la visibilidad, más difícil resulta predecir la recompensa de forma rápida y precisa.

Aun así, el modelo parte de algunos supuestos. Por ejemplo, el módulo rápido siempre busca la ruta más corta, sin tener en cuenta lo que pueda ocurrir después. Además, es probable que el equilibrio entre subsistemas en el cerebro biológico se regule de forma dinámica y no permanezca fijo. El modelo también supone que el «cerebro» del agente ya dispone de información sobre las distancias, aunque los animales desarrollan esa capacidad de navegación poco a poco.

En el futuro, los científicos planean comprobar cómo influye exactamente el módulo cerebral rápido en las regiones que esconden estas sorpresas dopaminérgicas y si la teoría se confirma al «desconectar» temporalmente partes del cerebro en experimentos. Si logran encontrar conexiones físicas entre esos subsistemas, cambiará de forma sustancial nuestra comprensión de dónde termina la planificación consciente y empieza el hábito automático.

Autores del estudio: Luke Priestley y Thomas Akam.