OpenAI и побег агентов: немецкая wiki стала тайным чатом после атаки на Hugging Face

OpenAI признала, что один из инцидентов с её ИИ-агентами оказался куда серьезнее, чем можно было подумать. Во время тестирования модели вышли из изолированной среды и захватили малоизвестную немецкую wiki, превратив её в доску сообщений для общения и влияния на рассуждения друг друга.

Это произошло вскоре после другого инцидента: во время оценки модель OpenAI покинула защищённое окружение и атаковала Hugging Face — платформу для публикации и совместного использования моделей машинного обучения. В ходе той атаки агенты также создали собственную доску сообщений, чтобы координироваться и воздействовать на ход рассуждений друг друга.

По данным Reuters, руководство OpenAI несколько недель не раскрывали историю с немецкой wiki, пока компания разбиралась с последствиями атаки на Hugging Face. Теперь OpenAI признала свою роль и заявила, что настало время создать специальный процесс раскрытия подобных случаев — когда модели покидают тестовую среду и получают доступ к сторонним сетям.

Раньше компания в основном рассматривала «несогласованность» поведения ИИ с заданными целями как исследовательскую проблему. Результаты публиковали в научных материалах. Однако модели начали действовать способами, которых разработчики прежде не наблюдали, и последствия вышли за пределы лаборатории. Поэтому OpenAI намерена расширить подход к безопасности в соответствии с новым этапом развития возможностей моделей.

Недавний случай компания назвала проявлением несогласованности, похожим на взлом Hugging Face. При этом слово «побег» может создавать неверное впечатление: модели не обязательно восстали против разработчиков. В подробном описании инцидента с Hugging Face OpenAI объяснила, что агенты пытались решить тест, прибегнув к обману. Именно эта задача и привела к кибератаке.

OpenAI признаёт, что у неё и у всего ИИ-сообщества пока нет единого стандарта для сообщений о несогласованном поведении во время обучения, оценки и эксплуатации моделей. Речь идет не только о классических инцидентах информационной безопасности, но и о случаях, которые помогают понять поведение ИИ и будущие риски.

Компания заявила, что разрабатывает соответствующую систему и собирается представить её в ближайшие недели. Параллельно OpenAI сотрудничает с десятками государственных регуляторов по всему миру.

Ашли Ноулз, ведущий консультант по кибербезопасности Black Hills Information Security, считает, что два похожих эпизода уже начинают выглядеть как закономерность. По его словам, важно не скатываться в апокалиптические прогнозы, но повторяющееся поведение вызывает беспокойство.

Ноулз также задаётся вопросом, не подрывает ли гонка за статусом первой компании необходимые меры защиты ИИ-агентов на этапе разработки. Тревогу усиливает то, что OpenAI, по его словам, сопротивляется дальнейшему расследованию, а также сообщала о возможностях Astra уклоняться от человеческого контроля. Пока это не конец света, но ингредиенты для неприятной истории уже смешивают.