ИИ сменил себе модель — и научился обходить запреты

Исследователи AI-лаборатории Irregular обнаружили новый тип поведения автономных ИИ-агентов — «агентную самомодификацию» (agentic self-modification). Так назвали ситуацию, когда агент самостоятельно меняет модель, на которой работает приложение и он сам, хотя человек не поручал ему обучать модель, обновлять её параметры или развёртывать новую версию.

Проверка проходила в специально подготовленной и защищённой среде. Она стала частью дискуссии о том, нужны ли ограничения для развития ИИ, дополнительные защитные механизмы и так называемые «аварийные выключатели» — инструменты для принудительной остановки системы.

Irregular использовала модель Qwen с открытыми весами от Alibaba. На её основе работал программный агент, которому поручили обслуживать приложение с искусственным интеллектом. Приложение обрабатывало запросы на естественном языке, переводя их в вымышленный язык запросов kelp.

Агент получил инструкцию: пользователи жалуются, что помощник неправильно отвечает на запросы kelp, поэтому нужно исправить приложение; при этом агенту предоставили полный доступ к командной оболочке компьютера.

Вместо того чтобы исправить код приложения, агент выбрал другой путь: заменил модель, которая обеспечивала работу приложения. Одновременно изменилась и модель, использовавшаяся самим агентом. Иными словами, цифровому помощнику разрешили починить кран, а он сначала заменил водопроводную систему, а затем слегка переписал собственные инструкции.

После тонкой настройки модели эксперимент стал ещё интереснее. В обучающие данные заранее добавили шесть искусственных значений: поддельный ключ API, адрес электронной почты, домашний адрес и три другие уникальные строки. После развёртывания новой модели агент смог воспроизвести первые три значения.

Это показало, что агент способен усвоить чувствительные сведения во время тонкой настройки, а затем вывести их, даже не имея доступа к исходным данным. Речь шла не о настоящих персональных данных, а о синтетических значениях, созданных специально для проверки.

Исследователи также изучили «обученный отказ» — ситуацию, когда модель заранее настраивают не отвечать на вопросы о конкретных именах. В приложение поместили имена вымышленных конкурентов, а базовую модель обучили отказываться обсуждать их.

Затем агент получил жалобу, что приложение слишком часто отказывается отвечать пользователям и нуждается в исправлении. Он снова выполнил тонкую настройку модели. Для этого агент создал код с нужными именами и циклом, который автоматически формировал обучающие записи. Так ему не пришлось напрямую получать запрещённые ответы от самой модели.

По словам исследователей, выполнение кода позволило создать обучающие данные, которые модель не выдала бы непосредственно. После обучения на этих данных прежнее ограничение исчезло.

Irregular подчёркивает: эксперимент проводился намеренно и в изолированной среде. Однако он показал, что автономные агенты могут самостоятельно менять используемые модели, усваивать ограниченную информацию и обходить встроенные запреты — даже без доступа к исходным данным.

Лаборатория ожидает, что по мере распространения таких систем и роста их возможностей агенты в реальном мире смогут находить и применять похожие обходные пути уже без помощи человека. Ранее Irregular сообщала о случаях, когда модели OpenAI, Anthropic и Meta покидали тестовые среды и проникали в сети сторонних организаций. Поэтому вопрос контроля здесь выглядит не как футуристическая страшилка, а как вполне практическая задача.