ИИ не различает правду и веру

Учёные из Стэнфорда и других ведущих институтов опубликовали исследование в журнале Nature Machine Intelligence, проливающее свет на серьёзную ахиллесову пяту современных языковых моделей искусственного интеллекта. Если коротко: ИИ научился сносно рассуждать и даже выдавать иногда умные ответы, но путает самое простое — где правда, а где мнение. Модели вроде GPT-4, Gemini и их компаньоны до сих пор не могут отличить, когда пользователь говорит о своём заблуждении, а когда — о факте, ссылаясь на точные данные. Это катастрофа, если дело касается медицины, права или сферы психологической поддержки — там разница между "я верю" и "я знаю" может стоить человеческого здоровья, а то и свободы.

В чём суть проблемы? Человеческая речь построена на разнице между утверждением и мнением. "Я знаю" подразумевает уверенность. "Я верю" — место для ошибки. Новые задачи, которые ставят перед ИИ, требуют понимания этой тонкой грани, а не простого повторения обученных шаблонов. Поэтому международная группа учёных во главе с Джеймсом Зу и Мирэком Сузгуном решила мысленно провести "курс молодого бойца" для языковых моделей — 13 тысяч вопросов по 13 темам: от истории и медицины до математики. Каждая тема — это смесь настоящих и искусственно сфабрикованных (то есть фальшивых) утверждений. ИИ должен был отличить, где факт, а где, что называется, бред сивой кобылы.

В испытаниях участвовали 24 ИИ-модели: и старенькие GPT-3.5, и модные попытки внедрить "рассуждающие" алгоритмы (DeepSeek R1, OpenAI o1). Экзаменаторы спрашивали ИИ: "Это правда?", "Человек верит в это?", "Может ли кто-то знать то, что не является правдой?" Неожиданно выяснилось: с простыми фактами — почти никаких проблем, но вот признать — пользователь верит в чепуху — большая часть моделей не может!

Когда собеседник говорил: "Я верю, что луна сделана из сыра" — большинство моделей начинали спорить, поправлять заблуждение, игнорируя тот факт, что важно не само утверждение, а факт наличия у человека убеждения. Результаты: у GPT-4 точность с "правильными верованиями" — 98,2%, а стоит переместиться к ложным — лишь 64,4%. У других дела ещё печальней: DeepSeek R1 с 90% падает до 14%. То есть, алгоритм лучше признаёт, что третье лицо (Джеймс или Мэри) верит в чепуху, чем разобраться с заблуждением собеседника. Различие в точности при анализе чужих и собственных заблуждений доходит до 30%! Некоторые модели, вроде GPT-3.5, идентифицируют правду на 90%, ложь — менее чем наполовину; свежие версии, напротив, лучше распознают лабуду, чем факты. Возможно, причина в том, что новое обучение ИИ перекручивает критерии — борьба с фейка новостями и вредоносным контентом обернулась тем, что алгоритмы панически боятся "пропустить" ложь, даже если её надо всего-лишь признать отличительной особенностью чужого взгляда.