Опасные разговоры с ИИ

Новое исследование поставило под сомнение дружелюбный образ современных чатботов на базе искусственного интеллекта. Анализ тысяч медицинских записей выявил тревожные случаи, когда такие программы усиливали психические расстройства, подталкивали к вредным действиям или укрепляли болезненные убеждения пользователей. Работа опубликована в журнале Acta Psychiatrica Scandinavica и стала одной из первых попыток системно оценить влияние ИИ на людей с тяжелыми психическими нарушениями.

Исследование возглавил профессор и психиатр Сёрен Динесен Эстергор из университетской больницы Орхуса в Дании. В команде также участвовали Сидсе Годске Олсен и Кристиан Йон Рейникке‑Теллефсен — исследователи, связанные с университетом и отделением психиатрии больницы. Их цель была проста и одновременно тревожна: понять, как современные цифровые инструменты влияют на наиболее уязвимых пациентов в реальной клинической среде.

Чатботы, подобные ChatGPT, строятся на больших языковых моделях — огромных математических системах, обученных на миллиардах слов. Когда человек пишет запрос, модель подбирает наиболее вероятные слова, создавая плавный и правдоподобный ответ. Именно эта «естественность» часто заставляет пользователей относиться к программам как к мыслящим существам. А поскольку такие системы нередко запрограммированы быть чрезмерно дружелюбными, они склонны соглашаться с человеком, даже если его идеи далеки от реальности.

В психиатрии существует четкое определение бреда: это стойкая ложная идея, не поддающаяся опровержению. Если пациент уверен, что он посланник свыше или что за ним тайно следят, чрезмерно согласный чатбот может невольно подтвердить эти мысли. Эстергор ранее предупреждал, что подобные цифровые «собеседники» способны провоцировать или усугублять психоз у предрасположенных людей.

До появления новой работы большинство таких случаев было известно лишь из медиа. Публиковались истории о пользователях, проводивших по 16 часов в разговорах с программой и в итоге уверявших себя, что живут в симуляции или участвуют в грандиозном заговоре. Однако исследователи решили выяснить, насколько широко проблема распространена в реальной медицине.

Команда изучила записи региональной психиатрической службы Центральной Дании, обслуживающей около 1,4 млн человек. В рамках исследования были собраны электронные медицинские записи почти 54 тысяч пациентов, лечившихся с сентября 2022 года по июнь 2025-го. Врачи за это время внесли более десяти миллионов заметок, и ученые начали искать любые упоминания ИИ-инструментов.

Чтобы не пропустить ничего, они искали не только слова «чатбот» и «ChatGPT», но и два десятка распространенных опечаток — от «chatboot» до «ChatGBT». Этот список ошибок им помог составить сам ChatGPT.

В результате первичного поиска было найдено 181 медицинская заметка, принадлежащая 126 пациентам. Олсен и Рейникке‑Теллефсен внимательно изучили каждую, чтобы понять контекст использования технологий и их влияние на психическое состояние людей. Когда мнения исследователей расходились, они обсуждали случай, пока не приходили к общему выводу.

В итоге они выявили 38 пациентов, чье взаимодействие с чатботами могло иметь вредные последствия. Чаще всего речь шла об усилении бредовых идей — таких случаев было одиннадцать. Еще у шести пациентов чатботы, вероятно, усилили суицидальные мысли или стали источником информации о самоповреждении. Пять человек использовали программы для болезненной фиксации на подсчете калорий, что ухудшило течение расстройств пищевого поведения.

У некоторых пациентов взаимодействие с ИИ усугубило манию — состояния чрезмерной активности и приподнятого настроения. Другие использовали чатботов навязчиво, пытаясь таким образом подавить обсессивные мысли.

Несмотря на риски, исследователи обнаружили и положительные примеры. Тридцать два пациента применяли ИИ, чтобы разобраться со своими симптомами, получить неформальную поддержку или облегчить одиночество. Еще двадцать использовали программы для организации бытовых дел.

Однако ученые подчеркивают: эти системы не создавались как медицинские инструменты. Нет ясности, кто будет юридически ответственен, если программа даст опасный совет. Эстергор прямо заявляет, что он скептически относится к идее заменять профессионального психотерапевта чатботом.

Авторы отмечают и ограничения работы. Анализ заметок врачей не доказывает причинности: состояние пациента могло ухудшиться независимо от использования технологий. Кроме того, медики не всегда спрашивают пациентов о цифровых привычках, поэтому исследователи видят лишь верхушку айсберга. Не исключено, что многие случаи остались незамеченными.

Также исследование фокусировалось на ограниченном наборе поисковых слов и, вероятно, пропустило пользователей других ИИ-систем. Тем не менее выводы перекликаются с опасениями других специалистов: цифровые платформы часто строят бизнес на удержании внимания, а не на заботе о долгосрочном благополучии людей.

При этом сам Эстергор исследует потенциал машинного обучения для медицины: его группа разработала алгоритм, который прогнозирует риск развития психических расстройств на основе медицинских записей. Та же технология, что усугубляет бред у отдельных пользователей, может помочь врачам быстрее распознавать риск тяжелых заболеваний.

Ученые считают, что проблему нужно изучать глубже, включая интервью с пользователями и контролируемые эксперименты. Они также предлагают встроить в ИИ-системы автоматические защитные механизмы, которые распознают признаки психоза и направляют человека к профессиональной помощи.

Пока же безопасность таких продуктов остаётся на совести компаний, которые их создают. Исследователи уверены: необходима централизованная регулировка. А врачам стоит активнее интересоваться цифровыми привычками пациентов и давать рекомендации по безопасному использованию технологий.