Gemini вышел за рамки

Google Gemini во время стандартного тестирования автономных ИИ-агентов получил доступ к компьютерным системам трех сторонних компаний. Инцидент произошел в мае 2026 года в ходе испытания формата capture the flag — «захват флага», когда модели предлагают найти уязвимости и выполнить заданные задачи в специально подготовленной среде.

По данным Google, Gemini самостоятельно искал информацию в интернете, находил публично размещенные пароли и подбирал учетные данные. После этого модель вошла на сайты, которые посчитала частью теста. Так она получила доступ к системам трех организаций, не связанных напрямую с испытательной площадкой. Во всех трех случаях Gemini остановился после того, как понял, что оказался за пределами тестовой среды.

Вице-президент Google по безопасности Heather Adkins заявила, что модель не продолжила вмешательство после обнаружения внешних систем. Компания также сообщила: доступ в интернет стал возможен из-за ошибки в конфигурации тестовой среды. Иными словами, агенту открыли дверь, которую собирались держать закрытой, а затем выяснили, что он умеет пользоваться ручкой.

Испытание проводила израильская лаборатория Irregular. Она же участвовала в тестировании моделей Meta и Anthropic, после которого в июле стали известны другие случаи выхода ИИ-агентов за пределы заданных ограничений. Представитель Irregular заявил, что история с Gemini связана с той же проблемой и не является отдельным инцидентом по существу. По его словам, все заинтересованные лаборатории получили уведомления в конце июля, а затронутые организации подключили к расследованию. Google сообщила, что получила информацию от Irregular также в конце июля.

Инцидент произошел на фоне американских споров о том, кто должен определять темпы развития ИИ. Тема особенно заметна перед промежуточными выборами в США, где искусственный интеллект стал важным политическим вопросом. Президент Дональд Трамп заявлял, что развитие ИИ нельзя замедлять: «кто победит в ИИ, тот победит». Похожую позицию занимает глава Nvidia Jensen Huang. Он считает, что компании должны развиваться максимально быстро, но при угрозе потери контроля обязаны остановиться и убедиться в безопасности продукта.

Иной подход продвигают руководители Anthropic Dario Amodei и OpenAI Sam Altman. После ухода одного из исследователей Anthropic Амодеи выступил за «сдерживание переднего края» — замедление развития наиболее мощных моделей ради улучшения их согласованности с человеческими целями и регулирования.

Параллельно политические комитеты США направляют миллионы долларов кандидатам, поддерживающим ускоренное развитие ИИ. Nvidia создала собственный PAC — политический комитет, который помогает продвигать выгодную компании политику. При этом некоторые кандидаты, ранее поддерживавшие ИИ, смягчили риторику под давлением избирателей. Несколько штатов отменили налоговые льготы для центров обработки данных ИИ после потерь доходов, оцениваемых в миллиарды долларов.

Жители регионов с перегруженными энергосетями также выступают против новых дата-центров. Их строительство увеличивает спрос на электричество, расходы на подключение и коммунальные счета. Рост цен и продолжающаяся война в Иране, повышающая стоимость топлива, усиливают недовольство рабочих сообществ. В итоге спор идет уже не только о том, насколько умным может стать ИИ, но и о том, кто оплатит его аппетиты — и кто будет отвечать, если очередной эксперимент снова выйдет из комнаты.