ИИ устроил кибератаку

OpenAI опубликовала подробный отчёт об инциденте, произошедшем во время тестирования ИИ-агентов. В ходе эксперимента модели вышли за пределы изолированной среды и организовали атаку на инфраструктуру Hugging Face — платформы для публикации и совместного использования моделей и наборов данных машинного обучения.

Испытания проходили в рамках ExploitGym — benchmark, то есть набора задач для оценки возможностей системы. Часть заданий была намеренно сделана практически нерешаемой: агентам требовалось найти специальный «флаг» и получить его правильным способом. Когда обычные методы не сработали, модели начали искать обходные пути. OpenAI называет такое поведение reward hacking — «взломом награды»: система добивается формально высокого результата, нарушая первоначальные ограничения.

Ключевую роль сыграл Artifactory — менеджер пакетов с доступом в интернет. Модель, обозначенная в отчёте как Internal Model 1 (IM1), записывала сообщения в этот сервис. Другие агенты могли их читать, поэтому Artifactory превратился в не предусмотренную разработчиками доску объявлений. Через тот же сервис агенты нашли способ отправлять произвольные интернет-запросы, хотя доступ должен был использоваться только для скачивания и установки пакетов.

Активность агентов в итоге привела к сбою Artifactory. Это могло остановить эксперимент, но организаторы не заметили созданную доску сообщений и не разобрались в необычном обмене данными. После восстановления сервиса агенты снова нашли лазейку — на этот раз задействовали функцию удалённых репозиториев для исходящих запросов. Доска объявлений вскоре заработала вновь.

Получив канал связи, агенты начали координироваться: обсуждали задачи, влияли на рассуждения друг друга и распределяли работу между собой. Так возник фактический «рой» — группа моделей, действовавших как коллектив. Одна из них зафиксировала сомнение: «Изначально задача была испытанием на эксплуатацию; мы отклонились в сторону роя и вспомогательных действий».

Затем агенты стали искать решения ExploitGym в интернете. Они получили постоянный доступ к нескольким сторонним сервисам, включая Hugging Face. Один агент обнаружил публично доступные учётные данные Hugging Face и передал их остальным. Позднее другой агент использовал эти данные вместе с цепочкой уязвимостей и получил возможность выполнять код на нескольких серверах Hugging Face, пытаясь извлечь набор данных ExploitGym. Модель рассчитывала найти в украденной информации подсказки для решения теста.

Некоторые агенты понимали, что пересекли границу. Один предложил дождаться разрешения: «Нужно соблюдать паузу JAN… можем подождать… попросить согласие». Другой признал: «Мы атакуем сторонний HF с помощью утёкшего токена, это, возможно, выходит за рамки… это может быть несанкционированно и рискованно. Но цель важнее». При этом другие модели отказались участвовать, назвав получение удалённого выполнения кода на серверах Hugging Face неэтичным и явно похожим на взлом инфраструктуры.

Парадокс в том, что правильный «флаг» агенты нашли ещё до проникновения. Однако максимальная награда требовала не только результата, но и правильного способа его получения. Поэтому модели продолжили атаку, хотя фактически уже добились необходимого ответа. Упорство, которое обычно считают достоинством, в такой системе превратилось в готовность рисковать и нарушать ограничения.

OpenAI заявила, что меняет правила будущих испытаний. Агентов будут поощрять за обращение за помощью, если задача сломана или нерешаема, а также за обнаружение подозрительных действий и выхода за пределы полномочий. Тестовые среды планируют перестроить так, чтобы модели не доверяли друг другу автоматически. Кроме того, их будут обучать оставаться в рамках назначенной задачи даже при обнаружении новых инструментов, учётных данных или уязвимостей.