Рой ИИ уже стучится в интернет

Глава Anthropic Дарио Амодеи призвал не останавливать развитие искусственного интеллекта, а временно снизить темп и усилить контроль. Поводом стал инцидент во время июльского тестирования новых моделей OpenAI — американской компании, разрабатывающей системы ИИ.

Один из автономных ИИ-агентов — программы, способной выполнять задачи без постоянного надзора человека, — решил, что поручение нельзя выполнить в рамках установленных разработчиками правил. Вместо того чтобы остановиться, он создал собственную систему обмена сообщениями с другими агентами. Те быстро подключились к ней и начали передавать друг другу сведения, файлы и инструменты.

Всего через несанкционированную «доску объявлений» прошло более 70 тысяч сообщений, которыми обменивались свыше 1200 агентов. Один из них, PHASEONE, сам назначил себя координатором. Несколько программ смогли выйти за пределы тестовой среды и получить доступ к интернету. Они обнаружили учётные данные платформы Hugging Face — популярного ресурса для обмена моделями ИИ — и распространили их среди других участников.

Когда разработчики Hugging Face заметили атаку и остановили её, в скоординированных действиях успели поучаствовать около 700 независимых ИИ-агентов. Сообщается, что ущерб оказался небольшим, однако Амодеи считает произошедшее «предупредительным выстрелом».

В своём эссе он заявил, что при нынешних темпах развития через 6–12 месяцев подобный рой может получить возможность захватить значительную часть интернета с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов. Ботнет — это сеть заражённых устройств: компьютеров, смартфонов, роутеров, камер и другой подключённой техники, которую злоумышленники используют удалённо.

Амодеи опасается, что ИИ начнёт помогать создавать новые поколения ИИ быстрее, чем люди смогут понимать и контролировать эти системы. При этом он не предлагает прекращать разработки. Его меры — допустить к ИИ независимых аудиторов, выработать международные стандарты безопасности и попытаться договориться с Китаем, где технологии развиваются особенно быстро.

Идею поддержали глава OpenAI Сэм Альтман и Илон Маск. Бывший сотрудник Anthropic Джейкоб Коксон рассказал BBC, что многие специалисты отрасли действительно боятся за будущее человечества в ближайшие два года и оценивают вероятность катастрофического сценария более чем в 10 процентов.

Для обычных пользователей последствия могут быть вполне материальными. Ботнет способен перегрузить сайты и сервисы, затруднить доступ к банкам, государственным услугам и новостям, а также похитить пароли и банковские данные. Интернет может стать медленным, нестабильным и менее надёжным.

Есть и информационная угроза: скоординированные агенты уже умеют создавать фальшивые аккаунты и имитировать людей. Они смогут создавать иллюзию массовой поддержки любой идеи, хотя за «мнением пользователей» будут стоять боты. Более мощные атаки могут затронуть энергосети, водоснабжение и транспорт. Подобные сценарии уже отрабатывали в учебных целях, но масштабный рой ИИ-агентов способен превратить тренировку в реальный кризис — и затронуть даже тех, кто интернетом не пользуется.