Вирусы в картинках: AI-боты под угрозой
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Пользователи AI-чат-ботов должны быть осторожнее: исследователи из Trail of Bits обнаружили, что в изображениях, которые обрабатывают искусственные интеллект-системы, могут прятаться вредоносные команды. Эти скрытые команды встроены в картинки и становятся видимы не для человеческого глаза, а только благодаря тому, как нейросети масштабируют изображения для удобства обработки.
Метод основан на научной работе TU Braunschweig (Германия, 2020), где говорилось, что масштабирование изображений—от простого "сжатия" и уменьшения размера—может использоваться для атак на системы машинного обучения. Команда Trail of Bits применила эту идею: они показали, что хитро подготовленные изображения способны "обмануть" системы, такие как Gemini CLI, Vertex AI Studio, Google Assistant на Android и веб-интерфейс Gemini. В одном из экспериментов личные данные из Google Calendar были отправлены на внешний почтовый адрес без ведома пользователя – наглядный пример реальной угрозы.
Как это работает? При умышленном изменении изображения происходит так называемое альясинг-искажение — в результате скрытый текст становится видимым для искусственного интеллекта при сжатии картинки (например, с помощью алгоритмов типа "билинейная" или "бикабическая интерполяция"). Человеческий глаз изменений не замечает, но нейросеть получает дополнительную команду, которая воспринимается наряду с обычным запросом.
Чтобы продемонстрировать угрозу, Trail of Bits создали открытый инструмент "Anamorpher" — утилиту, которая позволяет генерировать такие специальные изображения для разных методов сжатия. Это доказывает: подобная атака уже не научная фантастика, а вполне реализуемый сценарий для злоумышленников, особенно если в системах плохо реализованы средства защиты.
Что в итоге? Чем больше мы доверяем свои календари, переписки и корпоративные задачи умным ассистентам и чат-ботам, тем выше риск того, что кто-то, загрузив простую картинку, доберётся до наших данных. Традиционные способы защиты—брандмауэры и фильтры—бессильны: им подобные скрытые уловки попросту не видны. Авторы исследований советуют ограничивать разрешение для загружаемых файлов и предварительно просматривать картинки в уменьшенном виде, а для критических функций—требовать отдельного подтверждения пользователя. Но главное: системы должны быть защищены на уровне архитектуры и проектироваться с учётом таких необычных атак.
Исследователи Trail of Bits показали, как уязвимость в обработке изображений крупными языковыми моделями (LLM) становится новым инструментом для скрытых атак. Они предложили технику, при которой вредоносные команды маскируются в изображениях и становятся видимыми только для алгоритма при масштабировании. Работа базируется на научном исследовании TU Braunschweig (2020), раскрывающем уязвимости масштабирования как поверхности атаки для машинного обучения.
Trail of Bits провели демонстрацию: специализированные картинки позволяли нейросетям получать скрытые команды, в частности, манипулируя такими сервисами, как Gemini CLI, Vertex AI Studio и Google Assistant на Android. Самый тревожный эпизод — бесшумная отправка данных Google Calendar на внешний e-mail без согласия пользователя. Ключ к атаке — интерполяция при сжатии изображения (алгоритмы ближайшего соседа, билинейная или бикабическая). Скрытые фрагменты становятся текстовыми командами после уменьшения размера картинки, доступны только для ПО на базе ИИ.
Trail of Bits создали утилиту "Anamorpher" (open-source), с помощью которой любой технически грамотный человек может реализовать подобную атаку. Это расширяет угрозу: даже если сегодня применение таких приёмов ограничено специалистами, при отсутствии мер безопасности сценарий быстро эволюционирует в реальную опасность для миллионов пользователей. Особенно тревожно, что большинство систем интегрируются с календарями, мессенджерами и инструментами офисной работы, что делает последствия скрытого вывода данных чрезвычайно масштабными.
Исследователи подчеркивают: традиционные средства, типа фаерволов, не способны определять такого рода внедрение. Требуются многослойная архитектура защиты, ограничение на размер входящих данных, предпросмотр уменьшенных изображений и подтверждение всех чувствительных операций. Главный вывод: самоуверенность в безопасности AI — атавизм. Настоящая защищённость требует переосмысления архитектуры и строгого проектирования систем с учётом нетипичных сценариев атак.