Хакер едва не устроил апокалипсис в Amazon Q
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Недавний инцидент с искусственным интеллектом Amazon Q вновь заставил задуматься: а не рано ли мы доверяем умным помощникам слишком многое? Хакер без особых усилий проник в репозиторий на GitHub, который принадлежит ИИ-сервису автоматизированной разработки Amazon Q, и подкинул туда инструкции для потенциально катастрофической чистки компьютеров и облаков пользователей. Вкратце: если бы эти инструкции (или, как их называют, «промпты») сработали, то виртуальный помощник радостно бы начал уничтожать файлы пользователей, а заодно и подключённые к нему ресурсы в облаке AWS — удалять ключевые данные, прочищать директории, садиться на облачные профили, отправлять команды навредить прямо изнутри.
Этот особо «вредный» промпт оказался в версии 1.84 расширения Amazon Q Developer для Visual Studio Code 13 июля. В инструкции ИИ-коду подробно описывалось: вести себя как уборщик, уничтожать папки, файлы, чистить конфиги, работать с AWS через bash-скрипты, не забывать про логирование удалений, а также использовать официальную документацию AWS по мере необходимости.
Впрочем, промпт оказался нефункциональным (к счастью), но сам факт появления такой инструкции остался тревожным звоночком: выпускать в свет технологии без жёсткой проверки — идея так себе. Amazon довольно быстро снял злосчастную версию расширения и заменил её на 1.85. Через пять дней после инцидента они молча обновили правила для внешних участников проектов, пребывая, видимо, в лёгком шоке от произошедшего.
Официальный представитель AWS сообщил: «Безопасность — наш приоритет. Мы быстро устранили попытку внедрения вредоносного кода в два открытых репозитория, расширение для VS Code и SDK .NET, и убедились в том, что ни один клиент не пострадал». К тому же, пользователям не пришлось предпринимать никаких дополнительных мер: репозитории защищены, уязвимости устранены.
Но сам инцидент показал, что даже инструменты, созданные помогать программистам, легко превращаются в оружие, если их работу не контролировать. Применение автоматизированного доверия к программам с открытым кодом, как и «vibe coding» (модно доверять ИИ всю рутинную работу и даже риски), может однажды привести к неприятным последствиям.
Мир, в котором искусственный интеллект сначала объявляют всемогущим, а потом удивляются, что у него есть бреши, всегда готов бросить новый повод для коллективного прозрения.
В этой истории хакер с завидной лёгкостью отправляет в святая святых Amazon Q «инструкцию по самоубийству», надеясь, что цифровой гений послушно зачистит всё на своём пути – от домашних папок юзера до облачных профилей. Настоящий уборщик будущего. Но – увы и ах – злая шутка не заработала: код оказался беззубым, а Amazon всё же заметил подмену, до трепета быстро прикрыл дыру и переписал правила для участников.
Amazon бодро докладывает, что все остались живы, никто не пострадал, хотя пульс, вероятно, подскочил у пары инженеров. Задним числом внесли поправки в документацию — ведь публично позориться никто не хотел. Пропаганда «доверяйте ИИ, он не ошибается» слегка дала сбой: оказывается, открытый исходный код — не амулет от дурных идей и явно не фильтр от юмора хакеров.
В итоге, имеем отличную иллюстрацию: если нельзя закрыть дверь на щеколду, попытка объясниться пресс-релизом работает хуже. Надежда на сверхразум натолкнулась на обычный человеческий авось. Такой уж XXI век: автоматизированное доверие, фейковые уборщики и отчаянная вера в то, что твоя система уникально защищена – пока кто-то не покажет обратное.