Пациенты считают ИИ-врача круче, чем настоящего врача?

Новое исследование, опубликованное в специализированном журнале NEJM AI, выяснило: люди не могут отличить медицинские советы, написанные врачом, от тех, что сгенерировал искусственный интеллект. Более того — люди предпочитают советы от нейросети! Особенно если ответы были высокоточного уровня: их оценили как более достоверные, заслуживающие доверия и полные, чем человеческие ответы. А вот если отвечал слабый ИИ, его советы считались ничуть не хуже врачебных.

В последние годы ИИ уверенно осваивает медицину: от расшифровки снимков до поиска новых препаратов. Особенно популярны нейросети — большие языковые модели (LLM), вроде GPT-3, — они быстро генерируют медицинские ответы для пациентов. По одному из исследований ChatGPT даже оказался способнее врачей давать более сочувственные и качественные рекомендации. А где-то ИИ и вовсе обошёл специалистов в диагностике. Вариант «врач+ИИ» оказался почти так же эффективен — и всё это звучит, как начало новой эры медицины, где человеку доверяют все меньше.

В рамках исследования команда во главе с Шрути Шекар собрала 150 анонимных медицинских вопросов и реальные ответы врачей с англоязычного форума HealthTap — всё строго по шести разделам: профилактика, симптомы, диагностика, лечение, операции и реабилитация. К каждому вопросу с помощью GPT-3 был подготовлен ИИ-ответ, который далее оценивали четыре врача (чтобы выяснить, где ИИ умничает, а где халтурит). Так появились «точные» и «неточные» ответы.

Эксперименты были просты: три группы по 100 человек каждая читали случайные ответы и оценивали, насколько они понятны, достоверны и насколько хочется поверить. Во втором и третьем тестах участников также просили отметить, возникло ли желание искать ещё информацию, следовать совету или обращаться к врачу, а ещё заранее говорили — чей ответ перед ними: врача, ИИ или врача с ИИ-помощником.

И вот что зловеще-иронично: большинство опрошенных не смогли отличить робота от человека. А в случае с «точными» советами — ИИ обставил и людей, и себя же (в своём неточном варианте) по всем рейтингам. «Неточные» ответы воспринимались на равных с врачебными — и порой даже внушали больше доверия! Главная опасность: участники были склонны следовать опасным рекомендациям ИИ (иногда даже чаще, чем рекомендациям врачей) и идти к врачу без надобности. Эксперты подчеркивают: высокий уровень доверия к ИИ-советам грозит неправильной диагностикой и вредом для пациента.

Впрочем, авторы отмечают: взятые с онлайн-форума ответы врачей могли быть не самыми тщательными — врачи не всегда выкладывались на максимум, отвечая на чужие вопросы бесплатно. Если бы сравнили ИИ с идеальными, самыми вдумчивыми врачебными рекомендациями, исход мог бы быть иным.

Исследование, проведённое командой Шрути Шекар, в очередной раз убедительно показывает: новое поколение людей доверяет машинам даже тогда, когда этого делать не стоит.