Секс-различия без сравнения

Новое исследование показало: многие научные статьи, заявляющие о различиях между мужчинами и женщинами, не содержат корректного статистического сравнения этих групп. Учёные проанализировали публикации по наукам о поведении и мозге и выяснили, что менее чем в одной статье из четырёх есть доказательства, действительно поддерживающие заявленный полозависимый эффект. Работа опубликована в PNAS — Proceedings of the National Academy of Sciences, одном из ведущих научных журналов США.

В последние годы государственные и научные организации добиваются участия в исследованиях и женщин, и мужчин. Это важно: биологический пол может влиять на развитие заболеваний и реакцию организма на лекарства. Однако само присутствие представителей обоих полов ещё не доказывает, что найденное различие реально. Для такого вывода нужно статистически проверить, отличается ли эффект у мужчин от эффекта у женщин.

Старший автор работы, профессор психологии Университета Эмори Donna L. Maney, обратила внимание на эту проблему после изменений в научной политике. По её словам, число публикаций, сообщающих о половых различиях, росло, но авторы часто не сравнивали группы напрямую, а применяли давно известный ошибочный метод.

Предыдущие обзоры уже показывали тревожную картину. В исследовании 2020 года выяснилось, что около половины нейронаучных экспериментов включали и мужчин, и женщин, но статистически сравнивали их лишь 15% работ. Обзор 2022 года показал: несмотря на рост представительства обоих полов за десятилетие, только 5% статей использовали пол как основную переменную для проверки различий.

Авторы новой работы отобрали из крупной базы научной литературы статьи, в заголовках которых прямо встречались формулировки вроде «специфичный для пола» или «зависящий от пола». Из более чем тысячи публикаций они сформировали репрезентативную выборку из 200 статей, вышедших в 2019–2023 годах. Половина исследований проводилась на людях, половина — на животных, главным образом на мышах и крысах.

Результат оказался неприятно простым: менее четверти статей содержали корректное статистическое сравнение мужчин и женщин. Более половины вообще не сравнивали группы напрямую, хотя уже вынесли утверждение о различии в заголовок. В некоторых работах нужный тест был проведён, но различие оказалось статистически незначимым. В других авторы писали, что сравнение сделали, но не приводили его результаты.

Частая ошибка выглядит так: исследователи отдельно проверяют, сработало ли лечение у мужчин и у женщин. Если эффект оказался статистически значимым только в одной группе, они объявляют лечение эффективным лишь для неё. Но отсутствие статистической значимости в одной подгруппе не доказывает, что эффекты между группами различаются. Нужно напрямую сравнить сами эффекты — например, проверить взаимодействие лечения и пола в общей модели.

Качество анализа зависело от области. В психологии корректные тесты использовали примерно 39% статей, в нейронауках — около 18%. В исследованиях с людьми убедительные доказательства встречались в 34% случаев, а в работах на животных — лишь в 15%. При этом ошибочные публикации попадали даже в высокорейтинговые журналы и цитировались не реже статей с надёжной статистикой.

За двадцать лет число нейронаучных статей, заявляющих о полозависимых эффектах уже в заголовках, выросло более чем в пять раз. Такие выводы могут влиять на представления о мужской и женской биологии, а также на рекомендации по лечению тревоги и депрессии, профилактике самоубийств и диагностике психических расстройств. Исследователи нашли подобные призывы даже в работах, где мужчин и женщин вообще не сравнивали статистически.

Учёные подчёркивают: исследование не доказывает, что все заявления о половых различиях ложны. В большинстве проблемных статей нужный анализ просто не провели или не представили. Менее 9% публикаций содержали статистические данные, явно противоречащие заголовку. Поэтому пока неизвестно, сколько заявленных эффектов выдержит корректную перепроверку.

Ситуацию усложняет отсутствие предварительной регистрации гипотез: только две из 200 статей показали признаки того, что дизайн исследования был зарегистрирован заранее. Это означает, что авторы могли сначала увидеть случайную разницу в данных, а затем превратить её в главный вывод — классический маршрут от наблюдения к сенсации.

Следующий этап работы — повторный анализ исходных данных опубликованных исследований, если они доступны. Команда также развивает SexDifference.org — инструмент, который помогает проверить, подтверждают ли приведённые в статье данные заявление о различии и насколько велик эффект.

Donna L. Maney считает, что науке пора перейти от простого вопроса «различаются ли мужчины и женщины» к изучению непрерывных и многомерных биологических характеристик, объясняющих индивидуальные различия. Включить в эксперимент обе группы необходимо, но этого мало: важны корректный анализ, прозрачная отчётность и выводы, которые не забегают впереди статистики.

Исследование «Claims of sex-dependent effects in the behavioral and brain sciences are infrequently supported by valid statistical comparisons» подготовили Madeline T. Olivier, Andrew W. Brown, Simon Chung, Colby J. Vorland и Donna L. Maney.