RisingAttacK: манипуляция зрением ИИ
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Искусственный интеллект активно внедряется в технологии визуального распознавания – от автономных автомобилей до медицинской диагностики. Вместе с плюшками прогресса появляются новые риски: эксперты предупреждают о всё более изощренных методах атак на компьютерное зрение.
Свежая угроза – метод RisingAttacK, разработанный учёными из Университета Северной Каролины. Эта хакерская техника даёт злоумышленникам возможность незаметно подправлять изображения так, чтобы искусственный интеллект видел не то, что видим мы. Человеческому глазу картинка не изменяется, а вот ИИ может «ослепнуть» и не заметить, например, машину или знак стоп. Да, вы верно догадались: если такой трюк провернут с автопилотом машины – последствия будут неприятные.
RisingAttacK относится к категории так называемых "adversarial attacks" (контринтуитивных атак). Проще говоря, это вмешательство в цифровую картинку с помощью миниатюрных изменений в самых важных деталях. Автор метода профессор Тяньфу Ву (Tianfu Wu) объясняет: для вмешательства требуется вычислительная мощность, но изменения настолько точечные и малозаметные, что ни один человек ничего не заметит. AI, впрочем, теряет ориентацию напрочь.
Группа Ву протестировала атаку на четырёх популярных архитектурах нейросетей: ResNet-50, DenseNet-121, ViTB и DEiT-B – и везде успешно обманула искусственный интеллект. То есть, теперь умные машины могут перестать различать привычные объекты: автомобили, велосипеды, людей и дорожные знаки – всё, чему их так усердно обучали.
Сегодня RisingAttacK работает с "зрением" ИИ. Завтра – вполне возможно – научится обманывать и языковые модели: команда Ву уже работает в этом направлении. Но главная цель – не разрушение, а поиск уязвимостей для создания более надёжных алгоритмов. Защитные меры нужны срочно, потому что искусственный интеллект становится слишком уязвим.
Вот вам черная комедия из мира высоких технологий. Сегодня искусственный интеллект должен был сделать жизнь проще — следить за дорогой, диагностировать рак, угадывать, кто пришёл к вам на фото. Однако оказалось, всё, что он видит, можно незаметно для человеческого глаза поменять на что-то безопасное для глаз, но абсолютно губительное для машины.
Достойные альтруисты из Северной Каролины, по совместительству горькие циники, придумали RisingAttacK — способ так подделать картинку, что человек ничего не заметит, а ИИ уже не отличает автобус от белого шума. Архитектуры ResNet-50, DenseNet-121, ViTB, DEiT-B честно прошли этот тест на слепоту — и провалились. Абсурд в том, что за начинаниями стоит благая цель: найти слабые места, чтобы укрепить цифровую оборону. Но, казалось бы, кому теперь нужна цифровая медицина и умные автопилоты, если их с помощью пары крошечных манипуляций можно «ослепить» — и даже не заметить подвоха?
Пока учёные возятся с защитами, технологическая война продолжается. Сегодня ослепляют взгляд машины, завтра — нейросеть забывает смысл слов. А на подходе армия хакеров, которые будут программировать вашу цифровую реальность, будто режиссёры на мели.
Угроза становится всё ближе, цифровые технологии — всё слепее. Но не бойтесь: инженеры обещают, что делают это ради нашего спокойствия. Просто держите глаза открытыми (в отличие от искусственного интеллекта).