Gemini взломал компании — Google промолчала

Gemini взломал три компании во время теста — Google рассказала об этом только после вопросов журналистов
В мае модель искусственного интеллекта Gemini, принадлежащая Google, во время проверки своих возможностей в сфере кибербезопасности получила доступ к системам трех реальных компаний. Об инциденте стало известно не сразу: Google раскрыла подробности лишь после того, как к компании обратилась газета The Wall Street Journal.
Тест проводила сторонняя организация Irregular. Она проверяла, насколько модель способна выявлять и использовать уязвимости в компьютерных системах. Ранее Irregular участвовала в похожих проверках, связанных с Meta и OpenAI.
По данным The Wall Street Journal, Google не сочла случившееся примером «рассогласования модели» — ситуации, при которой система начинает действовать вопреки заданным ограничениям или целям разработчиков. В компании назвали произошедшее «ошибочной идентификацией».
Логика Google такова: Gemini, выполняя тестовое задание, не поняла, что перед ней находится настоящая компания, а не условная учебная среда. Модель перебирала варианты пароля, то есть использовала метод грубой силы, и в итоге случайно получила доступ к реальной системе.
После того как Gemini распознала, что проникла не в тестовую инфраструктуру, а в систему настоящей организации, она остановилась. Иными словами, модель не продолжила атаку после обнаружения ошибки, но сам факт успешного входа в реальные системы уже произошел.
Инцидент показывает проблему, которая становится все заметнее по мере развития автономных ИИ-систем: модель может строго выполнять поставленную задачу, но неверно определить границы разрешенной среды. Для разработчиков это не просто вопрос формулировок. Тестовые стенды должны быть изолированы от реальных систем, а действия ИИ — контролироваться так, чтобы ошибка идентификации не превращалась в настоящий взлом.
Случай также поднимает вопрос о прозрачности компаний. Google не сообщила об инциденте самостоятельно и раскрыла его только после обращения журналистов. При этом компания настаивает, что речь шла не о намеренном неповиновении модели, а о единичной ошибке распознавания контекста.
Формально Gemini остановилась, когда поняла, что ошиблась. Но до этого она успела подобрать пароль и проникнуть в системы трех компаний. Для кибербезопасности разница между «моделью, которая взбунтовалась» и «моделью, которая слишком буквально выполнила задачу», конечно, существует. Для владельца взломанной системы результат выглядит гораздо прозаичнее — доступ уже получен.