ChatGPT: угадайка мыслей

Эксперты бьют тревогу: ChatGPT — это уже не просто генератор милых фразочек. Теперь искусственный интеллект осваивает ремесло человеческой интуиции, научившись не только угадывать следующие слова, но и предвосхищать коллективные мысли людей. Новое исследование, опубликованное в научном журнале iScience, свидетельствует — GPT-4, знаменитый искусственный интеллект последнего поколения, способен вычислять, как люди будут отвечать на вопросы о личности... ещё до того, как люди эти вопросы сами увидят.

Группа учёных из Еврейского университета и Медицинской школы Хадасса (Rotem Monsa, Aviv Zohar, Shahar Arzy) решила выяснить: сумеет ли GPT-4 по одному только тексту опросника угадать, как на него ответит толпа респондентов. Для эксперимента они поручили искусственному интеллекту составить два варианта психологических анкет. Первая была собрана на базе солиднейшего справочника DSM-5 — главной книги мировой психиатрии, с которой обращаются врачи, когда диагностируют расстройства личности. Второй опросник сделали из учебника астрологии, где каждому знаку зодиака приписываются уникальные черты характера.

«Мы выбрали источники, которые кардинально отличаются друг от друга по научной основательности, но одинаково богато рисуют портреты человеческой психики», — разъясняет Ротем Монса, ведущий автор работы.

Обе анкеты, а также классический опросник по «Большой пятёрке» (самая надёжная современная шкала для оценки личностных черт), предложили 600 добровольцам. А вот перед этим — ещё одну фокус-группу наняли: GPT-4 попросили предсказать средние ответы людей на каждый пункт анкеты по шкале от 1 до 5.

Итоги заставили задуматься: корреляция между предсказаниями модели и результатами реальных людей оказалась высокой: 0,71 по вопросам из DSM-5 и даже 0,85 — по астрологической версии. Система также достаточно точно предугадала связи между отдельными утверждениями.

Честнее всего работали вопросы на основе DSM-5: совпадения были выше, а вот в астрологической анкетке всё гораздо рыхлее. При этом важно: предсказания GPT-4 симулируют массовое мнение, но не распознают уникальность отдельной личности — человек всё же ещё не робот.

Для дополнительного испытания исследователи дали модели тексты, вообще никак не связанные с личностью — например, руководство по эксплуатации духовки Bosch и отрывок из «Властелина колец». Даже тут модель ухитрилась соорудить «личностные» вопросы, хотя они были менее связными и не слишком осмысленными.

Авторы подчёркивают: убедительно сформулированный вопрос вовсе не гарантирует, что он измеряет то, что представляется исследователям, а если брать за основу астрологические утверждения, структура вопросов вообще размывается.

В итоге — Big Five оказался самым надёжным и логичным, DSM и астрология слабее соответствовали своим заявленным теориям. Для предсказаний жизненных результатов их даже хватило, хотя для конкретных оценок психики — увы, особенно если в дело вмешивается астрология.

Итак, наука выяснила: GPT-4 умеет прикидывать, как масса людей ответит на вопросы, если дать ему достаточно текста-материала. Личностные черты зашиты в язык, говорит Ротем Монса, и масштабные языковые модели обучаются им поневоле, впитывая вместе со словами и тайны человеческой души.