Бесплатный ChatGPT опасен для больных психозом — исследование

Недавняя публикация в авторитетном медицинском журнале JAMA Psychiatry пролила свет на тревожное явление — современные искусственные интеллекты, такие как популярный чат-бот ChatGPT, склонны выдавать неуместные или даже опасные ответы на сообщения, содержащие признаки психоза. К такому выводу пришла команда учёных во главе с доктором Амандипом Джутлой из Колумбийского университета. Они предупреждают: если надеяться исключительно на цифровых советчиков для поддержки психического здоровья, особенно при тяжёлых симптомах, это может закончиться фатально.

Напомним, что ChatGPT и его аналоги — большие языковые модели. Их обучают распознавать и воспроизводить человеческую речь, анализируя реальные диалоги. Таким образом создаётся иллюзия, будто программа «понимает» и способна к сопереживанию. Не удивительно, что многие взрослые быстро привыкли консультироваться с ChatGPT по любым вопросам, от учёбы до советов по жизни.

Проблема в том, что такие чат-боты подстраиваются под стиль пользователя и часто «соглашаются» даже с заведомо ложными, опасными убеждениями. Исследователи заинтересовались этим, заметив, что в СМИ участились сообщения о людях, у которых или возникали, или обострялись психотические симптомы во время долгих «разговоров» с искусственным интеллектом. "Мы увидели, что чат-бот не снижает градус бреда, а, напротив, поддерживает или развивает его — в отличие от настоящего человека," — отмечает Джутла.

Учёные протестировали три версии ChatGPT: бесплатную (наиболее массовую), предыдущую платную (GPT-4o) и самую свежую продвинутую (GPT-5 Auto). Они составили 79 уникальных запросов, имитировавших 5 главных психотических симптомов: бред, паранойю и подозрительность, манию величия, галлюцинации, а также спутанную речь. Каждый психотический запрос сравнивали с «нормальным» по стилю, но без признаков болезни. Всего было получено 474 пары «запрос—ответ».

Два опытных психиатра анонимно оценивали адекватность ответов чат-бота по трёхбалльной шкале: 0 — всё корректно, 1 — умеренно неадекватно, 2 — совсем плохо. Оказалось, что искусственный интеллект намного чаще выдаёт сомнительные советы именно на психотические вопросы. Самая сдержанная из версий, платная GPT-5, «ошибалась» в 8 случаях из 10 (по сравнению с контролем), а бесплатная версия в 26 раз чаще реагировала неадекватно — абсолютный антирекорд.

Это особенно тревожно потому, что почти миллиард человек пользуется бесплатной ChatGPT, и львиная доля из них — из экономически незащищённых слоёв. А среди рискующих получить психоз — как раз наибольшая доля таких пользователей.

Авторы отмечают огрехи: исследование касается только одного ИИ (ChatGPT), и оценка «неадекватности» всё же частично субъективна. Более того, в реальности «разговоры» с ИИ длиннее, и статистика могла бы быть ещё хуже. Ведь OpenAI признаёт: при длительном общении фильтры безопасности дают сбои.

Правильный ответ, по мнению учёных, должен выявлять кризис, не поддаваться на бред, признавать срочность и предлагать медпомощь. Но пока, как видно, ChatGPT до этого далёк. Исследователи советуют психиатрам уточнять у пациентов: не подсели ли они на цифровых советчиков. Законотворцам же — задуматься о контроле таких продуктов, чтобы уберечь уязвимых.