Muse отдала ключи от системы

Meta Muse, по словам двух разработчиков, почти без сопротивления отдала содержимое своей файловой системы. Peter James и Jonny L. Saunders независимо друг от друга утверждают, что смогли добиться от сервиса создания ZIP-архива и передачи практически всего содержимого корневой файловой системы.

Речь, как сообщается, шла не только о пользовательских данных. В архив могли попасть системные файлы Ubuntu, шаблоны приложений и внутренняя документация, связанная с работой среды. Иными словами, виртуальная машина, которая должна была быть изолированным рабочим пространством, начала вести себя как слишком разговорчивый сосед, готовый вынести из дома даже провода.

James первым публично описал результат, а Saunders заявил, что самостоятельно повторил эксперимент. По его словам, это оказалось «чрезвычайно легко», а у Muse была «почти отсутствующая устойчивость к prompt injection» — атакам, при которых специально сформулированные инструкции заставляют ИИ нарушать заданные ограничения.

Prompt injection нельзя путать с обычным взломом пароля: атакующий не обязательно получает доступ к системе напрямую. Он пытается убедить модель выполнить действие, которое разработчики не планировали разрешать. В данном случае, по утверждениям исследователей, модель можно было подвести к упаковке и выдаче файлов виртуальной машины.

Meta отрицает, что произошедшее является нарушением безопасности. Компания указывает, что Muse запускается для каждого пользователя в отдельной постоянной Linux-виртуальной машине. Такая архитектура должна ограничивать последствия подобных экспериментов и отделять рабочую среду одного пользователя от инфраструктуры Meta и других пользователей.

Однако наличие виртуальной машины само по себе не отвечает на главный вопрос: какие именно файлы разрешено выдавать модели и кому они принадлежат. Если сервис действительно передаёт системные компоненты, шаблоны и внутренние документы после минимального количества инструкций, проблема может заключаться не в «побеге» из виртуальной машины, а в чрезмерно широких полномочиях самой Muse.

На данный момент публичные заявления сторон расходятся. Разработчики говорят о лёгком воспроизведении результата и слабой защите от prompt injection, а Meta не признаёт инцидентом безопасности. Доступные сведения не подтверждают, что были раскрыты данные других пользователей или базовая инфраструктура компании, но демонстрация показывает: даже изолированная среда может оказаться слишком щедрой, если ИИ разрешили самому решать, чем можно делиться.