ИИ-всезнайка: Самоуверенность под прикрытием?

Новое исследование показало: когда люди используют генеративный искусственный интеллект для решения задач, их реальные результаты улучшаются — но их уверенность в себе улетает в космос. Пользователи инструментов вроде ChatGPT показывают на тестах по логике баллы выше, чем одиночки-романтики без поддержки, однако стабильно считают себя ещё гениальнее, чем на самом деле. Такая завышенная самооценка может приводить к иллюзии компетентности — человек думает, что он молодец, хотя ему просто помогал умный ассистент.

Статья об этих умозаключениях опубликована в журнале Computers in Human Behavior. Ученые всё чаще анализируют, как технологии изменяют человеческое мышление. Особенно интересен так называемый метапознавательный эффект — способность осознавать, насколько ты понимаешь материал. Психологи знают: люди вообще-то плохо себя оценивают. Эффект Даннинга-Крюгера доказывает, что неумехи обычно думают о себе синими китами, а вот профи склонны занижать свои успехи. Новое исследование попыталось выяснить — если человек с низкой самооценкой подружит искусственный интеллект, поможет ли это избавиться от заблуждений или породит новые проблемы?

Для ответа на вопрос команда провела два исследования с заданиями на логическое мышление. В первом участвовали 246 американцев. Им предложили 20 задач из теста LSAT (используется для поступления в юридические вузы США), а также отдельный интерфейс с окошком ChatGPT — ниже не прыгнешь, выше не прыгнешь. Пользователям надо было хотя бы раз задание обсудить с ИИ; можно было как просить решения, так и выяснять суть логики. После сдачи работы всех попросили оценить свои успехи и выставить себе «оценку уверенности». Результаты впечатлили: с ChatGPT баллы в среднем были на три пункта выше, чем у обычных смертных из исторической группы сравнения. При этом подавляющее большинство сочли себя ещё успешнее — на четыре задания из двадцати больше, чем было в реальности. Вот и готова иллюзия мастерства: ИИ помогает, а человек принимает лавры на себя.

Интересно, что даже уровень знаний об искусственном интеллекте (оценивался с помощью специальной шкалы — Scale for the Assessment of Non-Experts’ AI Literacy) не помогал реалистичнее смотреть на свои успехи. Больше знал — больше был уверен, но точность самооценки от этого не росла. Эффект Даннинга-Крюгера привычно проявился у тех, кто работал без ИИ: слабоумные воображали себя гениями, профи терялись в сомнениях. С появлением ИИ это ушло — переоценивать стали все ровным фронтом.

Причём достигнутый уровень человека с ИИ не превышал успехи самого ИИ, работавшего без людей. Стоило добавить «живого фактора» — и результат стал хуже, чем у самой машины. Часть испытуемых принимала ошибочные советы ИИ или наоборот — не верила в правильный ответ, вредя итоговому баллу.

Во втором эксперименте (452 участника) был ещё более строгий контроль: половина работала с ИИ, половина — честно. К тому же появился денежный бонус за точность самооценки. Финансовая морковка не помогла — пользователи ИИ всё равно уверяли себя, что справляются великолепно, но на деле баллы были ниже их ожиданий. У группы без ИИ — классический Даннинг-Крюгер, с ИИ — ровненькое самодовольство.

Экспериментаторы измеряли чувствительность к ошибкам (AUC — Area Under the Curve): должны бы сомневаться там, где неправы, но участники с ИИ были уверены всегда и во всём. Анализ логов общения показал: обычно люди безропотно копировали запросы в чат и принимали ответ, не пытаясь осмыслить или проверить ИИ. Лишь малый процент пытался использовать ИИ для проверки своих идей.

Исследователи считают, иллюзия понимания возникает из-за «эффекта объяснительной лёгкости»: когда машина излагает всё красиво и сразу, кажется, будто сам понял, хотя, может, и не очень. Чем проще получить готовое решение, тем меньше мозг соображает, что где-то он мог ошибиться. Разумеется, у работы есть недостатки: сравнение в первом опыте шло с историческими данными, задания — только по логике, да ещё и версия ChatGPT одна на всех. Возможно, при других задачах или с новым ИИ всё было бы иначе. В будущем авторы предлагают создавать интерфейсы, заставляющие пользователя объяснять, почему он согласен с ИИ — и тогда, возможно, самоуверенность хоть немного поубавится. Также потребуется проверить, ослабевает ли этот эффект с опытом.