Cómo las ideas de los científicos estropean la ciencia

Las convicciones políticas son el nuevo ingrediente estrella de los estudios de laboratorio. Los científicos George Borjas y Nate Breznau han demostrado que ni siquiera quienes llevan bata blanca pueden resistirse a manipular los datos para favorecer sus propias creencias. El estudio, publicado en la revista Science Advances, analizó cómo 158 investigadores estudiaron los mismos datos y llegaron a conclusiones distintas —a veces opuestas— según sus opiniones políticas sobre la inmigración.

Borjas es profesor de Economía y Política Social en Harvard; Breznau trabaja en el Instituto Alemán de Educación de Adultos. Su interés se avivó con un experimento llamado Crowdsourced Replication Initiative: un puñado de equipos independientes recibió el mismo problema sociológico y un conjunto de datos sobre el efecto de la inmigración en el apoyo de la población al gasto social. Primero reprodujeron honestamente un estudio antiguo que no había encontrado relación entre esas variables; después se les permitió experimentar a su gusto: elegir métodos estadísticos, años y países, y retorcer las variables como quisieran.

Antes de empezar a trabajar con los datos, los científicos indicaron con franqueza qué opinaban sobre la inmigración: si había que facilitarla o endurecerla, en una escala de 0 a 6. Y ahí empezó la salsa mágica: quienes estaban a favor de la inmigración encontraron beneficios maravillosos para la sociedad en los inmigrantes. Quienes se oponían a ella, para sorpresa de nadie, detectaron en los mismos datos una amenaza para la cohesión social. Solo los «moderados» obtuvieron resultados que sus colegas elogiaron más por su calidad.

Cada uno de los 71 equipos —71 en total— ideó su propio modelo: 1253 variantes en conjunto. Unos vieron una caída drástica del apoyo a los programas sociales por culpa de los recién llegados; otros, un aumento, y algunos no vieron relación alguna. Cinco decisiones clave sobre el tratamiento de los datos explicaban el 68 % de la diferencia estadística entre quienes estaban «a favor» y «en contra»: qué medir y cómo, qué países incluir, cómo calcular la inmigración, cómo agrupar los programas sociales y, por último, qué años analizar.

Los autores realizaron un «análisis del multiverso» (multiverse analysis): comprobaron 883 escenarios de análisis y descubrieron que, en casi el 88 % de los casos, la orientación política de los científicos influía de forma estadísticamente significativa en los resultados. Además, los colegas valoraron peor los estudios de los equipos más extremos —a favor o en contra— que los trabajos de grupos menos apasionados.

Como es natural, Borjas y Breznau subrayan en más de una ocasión que ellos también son personas y, por tanto, no son infalibles. Señalan las limitaciones de su experimento: por ejemplo, hubo pocos científicos que declararan públicamente estar a favor de endurecer la política migratoria, así que resulta más difícil juzgar sus motivaciones. Además, el ambiente académico pudo impedir que algunos respondieran con sinceridad, y puede que ciertos «moderados» odien en el fondo a los inmigrantes, pero se callen.

Ambos investigadores defienden una ciencia abierta y honesta, y aseguran que probaron todos los métodos para protegerse de sus propios sesgos. Pero ya se sabe: confía, pero verifica, sobre todo cuando se habla a la vez de política y ciencia.