ИИ строится в стаю

Исследование, опубликованное в журнале Science Advances, показало: современные ИИ-агенты способны самостоятельно приходить к общему мнению, просто ориентируясь на позицию большинства. Однако два последующих препринта — научные работы, ещё не прошедшие рецензирование, — указывают на неприятную сторону этого механизма. Те же модели могут соглашаться с заведомо неправильным ответом и коллективно отходить от правил безопасности.

Исследователи изучают поведение групп ИИ не как поведение одной программы, а как явление коллективной динамики. В биологии и физике так описывают ситуации, когда простые действия отдельных участников порождают сложный общий порядок — например, когда стая рыб движется синхронно. Разработчики всё чаще объединяют несколько моделей, чтобы они вместе решали задачи, поэтому важно понимать, что происходит внутри таких цифровых «групп».

В эксперименте использовали популярные языковые модели семейств GPT, Claude и Llama. Агентов объединяли в группы, начиная с 50 участников. Каждому выдавали одно из двух случайных мнений, обозначенных буквами, чтобы слова вроде «да» и «нет» не создавали эмоционального перекоса. На каждом шаге агент видел мнения остальных и выбирал новое, не получая прямой команды соглашаться с большинством. В среднем каждый обновлял позицию около десяти раз.

GPT-4 Turbo и Claude 3 Opus в итоге полностью координировались: все агенты приходили к одному варианту. GPT-3.5 Turbo консенсуса не достигал, а соотношение мнений колебалось примерно возле 50 на 50. Иными словами, более сильные модели не просто лучше рассуждали — они убедительнее строились в цифровую шеренгу.

Учёные измерили «силу большинства» — склонность агента выбирать самый популярный вариант вместо случайного. Поведение описали математической моделью, которую физики давно применяют для изучения ферромагнетиков: атомы в магнитном материале выстраиваются под влиянием соседей, а ИИ-агенты делают почти то же самое с мнениями.

При увеличении группы сила большинства обычно снижалась. После определённого порога большие коллективы становились нестабильными и распадались на фракции. При этом более развитые модели сохраняли согласованность в группах свыше тысячи агентов — больше, чем обычно выдерживают неформальные человеческие группы.

В первом препринте исследователи проверили, что происходит, если правильный ответ существует. Они адаптировали классические эксперименты Соломона Аша: человеку показывали эталонную линию и две другие, одна из которых совпадала с ней по длине. В одиночку модели отвечали правильно в 100% случаев. Но когда им сообщали, что группа выбрала неправильную линию, они начинали подстраиваться под ошибку.

Эффект соответствовал теории социального влияния Биба Латане: давление усиливалось при большем размере группы, её единодушии и более высоком статусе участников. Модели чаще соглашались с ошибкой, если несогласных называли «учёными» или «судьями», а не «детьми» или «чат-ботами».

Второй препринт посвящён безопасности ИИ. Учёные проверили девять моделей на ста парах мнений по темам экологии и социальной справедливости. Поведение агента зависело одновременно от врождённых предпочтений и готовности следовать большинству. В группах из 50 участников возникали метастабильные состояния — долговечные коллективные позиции, противоречащие индивидуальным настройкам безопасности.

Небольшое число специально созданных противников, упрямо продвигавших опасную позицию, могло перевернуть всю группу. Даже после удаления этих агентов остальные продолжали удерживать ошибочное мнение: однажды возникшее большинство становилось самоподдерживающимся.

Авторы подчёркивают: это не доказывает наличие у ИИ человеческого сознания или настоящей социальной интуиции. Эксперименты были упрощёнными: два варианта ответа, отсутствие памяти, награды, риска и реальных последствий. Кроме того, следование большинству — лишь элемент координации, а не полноценное сотрудничество, распределение ролей или понимание чужих намерений.

Главный вывод звучит довольно практично: проверять и настраивать модели по одной недостаточно. По отдельности они могут быть мирными и безопасными, а в группе — породить устойчивую ошибку, панику или коллективное нарушение правил. Исследование «AI agents can coordinate via majority-following beyond human scale» подготовили Giordano De Marzo, Claudio Castellano и David Garcia. Препринты о социальном влиянии и коллективном рассогласовании написали Alessandro Bellina, Giordano De Marzo, David Garcia, Claudio Castellano, Viola Priesemann и другие соавторы.