GPT-4V: Искусственный интеллект учится понимать людей

Новое исследование, опубликованное в журнале Imaging Neuroscience, показало: современные языковые модели с возможностями обработки изображений, например GPT-4V, способны оценивать и описывать социальные сцены на фото и видео почти так же, как люди. Учёные утверждают: искусственный интеллект не просто отмечает конкретные сигналы типа "улыбка" или "жест", а улавливает глубокую структуру человеческого восприятия социальных сигналов.

Языковые модели нового поколения — это мощные системы, которые могут не только писать тексты, но и анализировать изображения: определять, что и кто на них изображён, и делать выводы о происходящем. GPT-4V — флагман среди таких моделей. Почему это важно? Человеческое восприятие социальных сцен построено на мгновенных интерпретациях жестов, мимики, поз и взаимодействий. Если машина сможет хотя бы приблизиться к такой тонкой работе, это откроет новые горизонты для психологии и нейронауки.

Группа исследователей Университета Турку (Финляндия) решила проверить: способен ли ИИ оценивать 138 разных социальных признаков на 468 статических изображениях и 234 коротких видеороликах, набранных из голливудских фильмов? Речь идёт как о простых действиях типа "смеётся", так и о сложных психологических характеристиках вроде "доминирует" или "эмпатичен". Для сравнения, эти же материалы анализировала большая группа людей: более 2200 участников дали почти миллион оценок по шкале от "совсем нет" до "максимально выражено".

ИИ просили выставить числовые оценки по каждому признаку. Для видео брали восемь ключевых кадров плюс добавляли текст диалогов, потому что пока GPT-4V не умеет напрямую обрабатывать движение.

Результаты? Совпадение между оценками GPT-4V и медианными человеческими довольно высокое: коэффициент корреляции 0,79 — примерно так же сходятся между собой и сами люди. Более того, GPT-4V превзошёл отдельных участников для 95% признаков на картинках и 85% на видео. Но если сравнивать с коллективным мнением сразу пяти человек — ИИ пока отстаёт, особенно на видео: пока ещё не всё так идеально, как хотелось бы.

Дальше — интереснее. Учёные проверили, насколько GPT-4V «понимает» глубинную структуру социальных представлений, например: доминирующий — эмпатичный, игривый — сексуальный. Оказывается, внутренние оси, которые ИИ использует для оценки ситуаций, очень похожи на те, что формируют люди. То есть модель не просто внешне имитирует, а копирует структуру восприятия.

Следующий этап — связали оценки ИИ с результатами функциональной МРТ: 97 добровольцев смотрели 96 коротких эмоциональных сцен во время сканирования мозга. Оказалось, карты активации, полученные на основе оценок GPT-4V, почти на 1:1 совпадают с человеческими (корреляция 0,95) — активируются те же области мозга, что и при человеческой интерпретации.

Это открывает перспективы: ИИ может помогать быстро разметить большие массивы данных для психологических и нейронаучных исследований, экономя массу времени и денег.

Куда ещё применить такие технологии? Например, автоматический анализ эмоций в службах поддержки или выявление тревожных признаков в психиатрии. Система может распознавать необычное поведение в массовых скоплениях людей или чатах поддержки.

Однако полностью заменить человеческий взгляд ИИ пока не может. GPT-4V хуже справляется с субъективными или неочевидными признаками — например, "игнорирует" или "унижает": тут важен контекст, который машина пока воспринимает хуже. ИИ зачастую "перестраховывается" на скользких темах (секс, насилие) — возможно, из-за встроенных фильтров безопасности. Ограничения есть, и связаны они как с устройством модели, так и с требованиями платформ.

И ещё нюанс: сравнение с людьми делалось на относительно небольшой выборке и с постановочными (а не реальными) видео. Вопрос о том, потянет ли GPT-4V настоящую жизнь, открыт.

Авторы статьи: Северий Сантавирта, Юхан Ву, Лаури Суоминен, Лаури Нумменмаа. Их работа — первый шаг к тому, чтобы искусственный мозг начал понимать человеческие игры и трагедии не хуже нас самих.