La ciencia se revisa a sí misma

PsyPost, un sitio de noticias sobre psicología y neurociencia, ha lanzado un programa automático en Python que revisa su archivo de publicaciones. El sistema rastrea estudios científicos mencionados anteriormente en artículos de PsyPost cuando la editorial los ha retirado, corregido o marcado después con un aviso especial.

La revisión inicial abarcó más de 16.000 artículos del archivo. El programa cotejó las publicaciones con la base de datos Retraction Watch y los datos de Crossref, y detectó seis estudios sobre los que PsyPost había informado y que posteriormente fueron retirados. Después, la auditoría pasó a realizarse de forma periódica. Su objetivo es sencillo: comprobar si ha cambiado el estado de un estudio mencionado en el archivo e identificar qué artículos de la redacción hay que actualizar.

La revisión se realiza cada semana y consta de cuatro etapas. Primero, el programa analiza el archivo de PsyPost en WordPress, encuentra enlaces a trabajos científicos y extrae sus identificadores digitales DOI. Un DOI es un identificador permanente y único de una publicación científica, parecido a una dirección que permite localizar un artículo con precisión en las bases académicas.

Las editoriales dan formato a los enlaces de distintas maneras, así que el programa aplica reglas específicas para SAGE, Wiley, Springer, Frontiers y PLOS: el DOI puede aparecer en el texto o estar oculto en una URL. Si el identificador no se muestra directamente, como ocurre con Elsevier, PubMed o Nature, el sistema lo busca a través de Crossref y del Centro Nacional de Información Biotecnológica de Estados Unidos (NCBI). Actualmente, el programa rastrea unos 17.000 estudios individuales.

A continuación, los DOI se cotejan con dos fuentes principales. La primera es una copia local de la base de datos Retraction Watch, que se distribuye gratis a través de Crossref desde 2023. Ayuda a localizar artículos retirados y los motivos de la retirada. La segunda son los registros de actualizaciones de las editoriales en Crossref. Estos permiten detectar correcciones y «expresiones de preocupación»: avisos oficiales de que hay dudas sobre una publicación, aunque todavía no se haya retirado formalmente.

La revisión en bruto suele arrojar cientos de registros. La mayoría no tiene que ver con problemas científicos, sino con detalles técnicos: correcciones de erratas, actualización de enlaces o errores en los metadatos. Por eso, el programa ordena los eventos, separa las retiradas y los avisos de las correcciones menores y también tiene en cuenta la fecha. La redacción puede ver si el aviso apareció antes de que PsyPost publicara el artículo o después.

El resultado es una tabla concisa que indica qué estudio está afectado, qué ha comunicado la editorial y qué artículo de PsyPost hay que revisar. Cuando el editor toma una decisión, se añade al principio del artículo correspondiente un aviso de que el estudio ha sido retirado o corregido. El caso se marca como tramitado y en el siguiente informe solo aparecen los nuevos.

La automatización no elimina la supervisión humana. A veces una editorial retira temporalmente un artículo y luego lo vuelve a publicar porque solo había un error de formato. Si el programa confunde un caso así con un problema grave, el desarrollador investiga el error y añade al código una regla que descarte toda esa categoría de falsos positivos. Así, el sistema aprende poco a poco a no dar la alarma por cada coma.

El fundador y editor de PsyPost, Eric W. Dolan, declaró que la ciencia es un proceso que se corrige a sí mismo y que, por eso, los artículos sobre investigaciones científicas deben reflejar los cambios en su estado. Según él, el cotejo periódico con Crossref y Retraction Watch ayuda a introducir correcciones de forma sistemática y a mantener la precisión de la información sobre el conocimiento científico actual.