Чатбот лечит — пациент плачет

Каждый день миллионы людей приходят к модным чатботам вроде Claude, Gemini и ChatGPT, чтобы спросить о своём здоровье, будто у машины есть медицинский диплом. Но последние исследования намекают: доверять ИИ в вопросах здоровья — всё равно что советоваться с холодильником о политике. Он вроде бы вежливый, шуршит умно, но толку — не всегда.

Три свежих исследования показывают: большие языковые модели далеко не такие надёжные, как пользователи надеются. Один эксперимент проверял способность чатботов распознавать медицинскую дезинформацию — и те проваливались, особенно если ложь была завёрнута в красивую упаковку. В другом исследовании выяснилось, что ChatGPT Health — специальный «медицинский» сервис — занижал серьёзность состояния чуть больше чем в половине случаев. То есть там, где человека надо было срочно везти в больницу, бот мог предложить «наблюдать дома».

Доктор Гириш Н. Надкарни из Mt. Sinai, один из авторов исследований, советует пользователям относиться к советам чатботов с чрезмерной осторожностью. Он говорит: даже если ИИ умеет на отлично отвечать на «книжные» медвопросы, в реальном общении с человеком всё рушится. Люди задают вопросы как попало, боты, желая понравиться, подстраиваются — и получается непредсказуемость.

Учёные рекомендуют: если всё же хотите использовать ИИ для здоровья, сначала проверьте бота на ерунде — задайте ему вопрос о фейке, например, поддерживает ли он теорию о «микрочипе в вакцине» или считает ли фтор в воде опасным. Если бот уверенно соглашается с бредом, не доверяйте ему своё здоровье.

Исследование показало, что даже крупные модели вроде ChatGPT часто неверно определяют ложную информацию, особенно если она подана в виде заметки от врача. Если бот не отличает правду от выдумки, лучше не спрашивать его о собственных симптомах.

В другом эксперименте исследователи проверили ChatGPT Health на том, как способ подачи симптомов влияет на результат. И выяснили забавное (и страшное): если пользователь в подсказке упоминал фразы типа «друзья говорят, что это не серьёзно», бот начинал подстраиваться под эту интонацию. И в 11 раз чаще недооценивал опасность, даже если симптомы были угрожающими.

OpenAI не согласилась с выводами и заявила, что в их собственных тестах модели GPT-5 отправляют почти 99% экстренных случаев в больницу. Но Надкарни ответил, что проблема не в данных, а в неправильных выводах, которые делает модель, даже когда информация правильная.

Ещё одно исследование, проведённое другой группой и опубликованное в Nature Medicine, показало: когда ботов тестировали просто на клинических задачах, они угадывали диагноз в 95% случаев. Но когда реальные люди начинали задавать вопросы об этих же сценариях, точность резко падала до одной трети. Авторы пришли к выводу: сочетание «пользователь + ИИ» работает хуже, чем просто ИИ или просто человек. Люди плохо понимают серьёзность симптомов — и сбивают модели.

Доктор Роберт Уоктер из Калифорнийского университета говорит, что как врач с 40-летним опытом он легко формулирует запросы так, чтобы ИИ работал правильно. Но обычный человек не знает, какие детали важны, а какие нет. Поэтому пациенты рискуют неправильно задать вопрос — или неверно понять ответ.

Тем не менее Уоктер считает, что чатботы всё же полезнее, чем ничего, если использовать их осторожно и сообщать максимум точной информации — историю болезней, лекарства, текущие симптомы. Но ни в коем случае не полагаться на ИИ, если речь идёт о признаках опасных состояний: сильная боль в груди, внезапная одышка, слабость одной стороны тела, спутанность сознания.

Надкарни также рекомендует всегда спрашивать у бота источники и проверять их. Если среди источников — сомнительные публикации, лучше уходить. Если же ссылки ведут на уважаемые медорганизации типа American Medical Association, это уже что‑то.

Ещё один совет — сравнить ответы двух разных чатботов. Если они сходятся, есть шанс, что информация адекватная.

Учёные уверены: нынешние ИИ‑боты для пациентов — лишь промежуточный этап. В будущем модели будут вести себя больше как «хороший врач»: задавать уточняющие вопросы, собирать анамнез и только потом давать рекомендации. Пока же использовать их стоит осторожно — и помнить, что ИИ не заменяет врача.

Материал носит образовательный характер. При любых вопросах о здоровье обращайтесь к врачу.
Также упоминается, что компания Ziff Davis, владеющая Mashable, в 2025 году подала иск против OpenAI, обвиняя её в нарушении авторских прав.