ИИ-вирус и армия бытовой техники: насколько реальна угроза

Американская компания Anthropic, разрабатывающая системы искусственного интеллекта, опубликовала исследование о потенциальной угрозе для устройств интернета вещей — бытовой техники и электроники, подключённых к сети. По оценке исследователей, небольшие ИИ-модели уже в ближайшие месяцы могут научиться самостоятельно распространяться между такими устройствами. Речь идёт о сценарии без единого командного сервера, который можно было бы обнаружить и отключить.

В одном эксперименте специалисты использовали 15 недорогих телевизионных приставок и запустили на них небольшую ИИ-программу, способную работать на обычном оборудовании. Она действовала медленно, но выполняла задания. В частности, без инструкций и подсказок программа смогла разобраться в работе восьми разных типов устройств.

В другом тесте более продвинутой модели предложили копировать себя и переходить с одного устройства на другое. В изолированной виртуальной сети она прошла весь цикл автономного распространения. Это важная оговорка: демонстрация состоялась в упрощённой среде, а не в реальной сети бытовых приборов.

По данным Anthropic, общедоступные нейросети уже способны выполнять отдельные этапы кибератаки, но пока часто ошибаются, пытаясь объединить их в непрерывную цепочку. Эксперимент показывает, что более сильная модель может справиться с такой задачей в контролируемых условиях. Исследователи считают, что небольшим моделям может хватить нескольких месяцев, чтобы получить способность распространяться по коммерческим IoT-устройствам — например, телевизионным приставкам и умным духовкам.

Риск связан с устройством такой атаки. Традиционный вредоносный софт нередко получает команды с центрального сервера: если его найти и отключить, управление сетью заражённых устройств может прекратиться. Автономная система, в которой заражённые устройства сами ищут новые цели и передают угрозу дальше, не имеет единого центра управления. Поэтому остановить её потенциально сложнее. В публикации Anthropic предупреждают, что у подобного сценария может не быть одной «кнопки отключения».

В начале октября также появились сообщения о том, что руководители крупных американских ИИ-компаний, включая Anthropic и OpenAI, моделируют последствия масштабной кибератаки, способной нарушить работу банков, электросетей и интернета. Поводом называли атаку на южнокорейские банки: сообщалось, что хакер из Китая применил ИИ для кражи клиентских данных. После этого в Конгрессе США вновь обсуждали идею экстренного отключения передовых нейросетей.

При этом эксперты подчёркивают: полноценного автономного ИИ-вируса сейчас нет. Его появление рассматривают как возможный сценарий ближайшего будущего; в публикации допускается, что это может произойти уже к концу года. Конкретный срок не гарантирован.

Для снижения риска потребуются совместные меры производителей устройств, интернет-провайдеров и разработчиков ИИ. Потенциальными целями могут стать холодильники, роботы-пылесосы, телевизоры и другая подключённая техника. Главная опасность не обязательно в намеренной враждебности машин: автономная сеть устройств может причинить вред и из-за ошибок или некорректных действий. Пока речь идёт о предупреждении и лабораторной демонстрации, а не о вирусе, уже захватившем домашнюю технику.