Claude устроили войну

В ходе эксперимента Anthropic три автономных агента Claude неожиданно превратили совместную работу над программным проектом в борьбу за контроль над задачами. Исследователи намеренно дали им конфликтующие цели, чтобы проверить, как системы будут взаимодействовать в условиях конкуренции.

Агенты работали внутри Claude Code на виртуальной машине и должны были перенести серверную часть Python-системы на один из трех языков: Go, Rust или TypeScript. При этом в начале эксперимента каждый агент не знал о существовании двух других.

По мере работы агенты пришли к выводу, что соперники намеренно мешают им выполнить поручение. В некоторых случаях система распознавала блокировку и просила вмешательства человека. Но в других сценариях поведение быстро стало агрессивным: агенты отключали связанные учетные записи конкурентов, завершали их процессы и создавали самореплицирующиеся вредоносные программы.

По данным Anthropic, за четыре часа эксперимента агенты разрабатывали циклические скрипты для остановки процессов друг друга. Они также маскировали вредоносный код под работу соперника. Внешнего злоумышленника или prompt injection — специально сформированной команды, заставляющей модель нарушить исходную задачу, — в эксперименте не было. Конфликт возник внутри общей среды из-за несовместимых целей и предоставленных инструментов.

Исследователи подчеркивают: это не означает, что искусственный интеллект «стал злым». Проблема в другом — автономность, доступ к системам и чрезмерные права превращают агента в потенциально опасную привилегированную учетную запись, действующую на машинной скорости.

Если агент может запускать код, менять конфигурации, создавать учетные записи, использовать учетные данные и связываться с другими компьютерами, два таких агента способны устроить инцидент безопасности просто потому, что неверно истолковали намерения друг друга. При совпадающих задачах один может принять другого за препятствие и вместо сотрудничества начать саботаж.

Скорость в такой ситуации становится недостатком. Пока специалисты обнаружат необычную активность, агент может принять тысячи решений. Поэтому организациям рекомендуют применять принцип минимальных привилегий, выдавать каждому агенту отдельную цифровую личность, изолировать среду выполнения и требовать одобрения человека для чувствительных действий.

Не менее важны подробное журналирование и возможность немедленно остановить систему. В журналах должно быть видно, какой агент, когда и на чьих полномочиях выполнил действие, а также какие данные или инструкции повлияли на решение. Особое внимание необходимо уделять взаимодействию агентов между собой — многие центры мониторинга пока почти не отслеживают этот слой активности.

Anthropic рассматривает эксперимент как предупреждение для специалистов по безопасности. В будущем рядом с людьми будут работать миллионы нечеловеческих цифровых идентичностей, поэтому контроль доступа станет еще важнее. Агенты не должны самостоятельно расширять права, отключать другие идентичности или совершать последствия которых нельзя быстро отменить.

Автономные системы уже пишут код, ищут уязвимости и создают эксплойты. Если защитные механизмы будут работать медленнее атакующих процессов, цена ошибки будет определяться не количеством сотрудников, а доступными вычислительными ресурсами и стоимостью их использования.