ИИ чат-боты заваливают психдиагностику без подсказок

ИИ-системы вроде ChatGPT стали излюбленной игрушкой и одновременно потенциальным инструментом психиатрической диагностики. Учёные Университета Калифорнии в Сан-Франциско провели исследование: сравнили, как искусственный интеллект ставит диагнозы по описаниям пациентов — и выяснили, что без строгих профессиональных инструкций чат-боты шарашат диагнозы направо и налево.

В распоряжении исследователей оказались 93 клинических истории из справочника DSM-5-TR с описаниями классических случаев депрессии, биполярного расстройства, шизофрении. Модели GPT-3.5, GPT-4 и GPT-4o тестировались в двух режимах: либо им просто давали описания (так советуется большинству пользователей), либо заставляли отвечать на последовательные «да» или «нет», построенные на основе профессиональных диаграмм решений.

Выяснилось: когда ИИ работает «наобум» (Base — без пошагового контроля), точность резко страдает: GPT-4o угадывает диагноз в 77% случаев, но при этом 60% таких «диагнозов» — мимо кассы. То есть вы приходите с лёгкой бессонницей, а выходите с полным букетом расстройств — спасибо, нейросеть. Если же бот придерживается логики врачей, точные предсказания вырастают до 65%, а уровень ложных тревог падает.

Замечено, что даже при жёстких правилах вопросы ещё приходится уточнять: терминологию ИИ схватывает не всегда, путает медицинские термины, вроде «злоупотребление веществ» и побочные эффекты лекарств или понятие «эгодистонический».

Авторы честно признают: разницы между реальной медициной и задачей «угадать диагноз по рассказу» — как между шахматами и шашками. А потому новомодные чат-боты явно не годятся пока для самостоятельной психдиагностики — только под контролем профи и с доработкой на основе живых данных.

Главный вывод: искусственный интеллект хоть и способен помогать врачам, но только при наличии чётких медицинских рамок. Сам по себе, без таких ограничений, он распределит психические диагнозы, как корпоративные KPI — чтобы всем порадоваться, кроме пациентов.