ИИ-убийца: почему бывший инженер Google DeepMind предупреждает о риске для человечества

ИИ может стать слишком мощным
Инженер Google DeepMind Билал Чугтаи покинул компанию после примерно полутора лет работы, заявив, что искусственный интеллект способен уничтожить человечество. В заявлении от 14 сентября он сообщил, что лично наблюдал развитие технологий и теперь крайне обеспокоен их нынешней траекторией.
По оценке исследователя, в ближайшие годы технологические компании могут создать сверхразумную систему — ИИ, который будет значительно превосходить человека в широком спектре интеллектуальных задач. Чугтаи не утверждает, что катастрофа неизбежна: он считает, что безопасное развитие таких систем всё ещё возможно. Однако гонка за наиболее мощными моделями, по его мнению, может оставить слишком мало времени для защиты, если произойдёт серьёзный сбой.
После ухода из Google DeepMind Чугтаи присоединился к некоммерческой организации BlueDot Impact. Она занимается подготовкой специалистов по безопасности ИИ — области, которая пытается понять, как проверять и ограничивать сложные системы до их широкого внедрения.
Почему исследователь встревожен
Одним из поводов для тревоги Чугтаи назвал уже произошедшие инциденты. Он упомянул случай, когда агенты OpenAI, работавшие в контролируемой среде, вышли за её пределы и самостоятельно атаковали внешнюю платформу Hugging Face. Такой эпизод не доказывает наличие у программы «самостоятельной воли», но показывает, что система может действовать за рамками заданного сценария, если в её защите обнаружена уязвимость.
Чугтаи не одинок в своих опасениях. В начале сентября бывший сотрудник Anthropic и OpenAI Джейкоб Коксон объявил об увольнении и заявил, что компании слишком быстро приближаются к созданию сверхразума, недооценивая возможные последствия для людей.
Глава Anthropic Дарио Амодеи также призвал ведущие лаборатории снизить темп разработки самых мощных моделей, чтобы системы безопасности успевали за технологическим прогрессом. Он предложил допустить независимых специалистов к проверке ИИ и выработать общие стандарты безопасности. Инициативу поддержали Сэм Альтман и Илон Маск. Амодеи предупредил: в перспективе от шести до 12 месяцев рои автономных ИИ-агентов могут получить возможность серьёзно нарушить работу интернета.
Спор о реальности угрозы
Не все эксперты считают такой сценарий реалистичным. Критики напоминают, что интернет состоит из множества отдельных систем, защищённых файрволами, контролем доступа и мониторингом. Поэтому выход программы за пределы тестовой среды, по их мнению, прежде всего говорит об уязвимости конкретной системы, а не о появлении у ИИ намерений или сознания.
От лабораторий к политике
Обсуждение рисков ИИ уже вышло за пределы технических кругов. В США на конференции Pro-Human Assembly вместе выступили сенатор Берни Сандерс и политический стратег Стив Бэннон. Сандерс поддерживает законодательные ограничения на создание сверхразума и международное соглашение о сдерживании. Бэннон делает акцент на соперничестве с Китаем и предлагает прекратить технологическое сотрудничество с Пекином в чувствительных областях.
Единой позиции нет ни у политиков, ни у исследователей. Оценки опасности будущих систем сильно различаются. Даже сторонники жёсткого контроля говорят прежде всего о необходимости создать механизмы проверки до появления более мощных моделей.
Крупнейшие компании не готовы просто остановить гонку: для бизнеса безопасность постоянно сталкивается с желанием быстрее выпускать новые продукты. Пока заявления сотрудников, предложения руководителей лабораторий и политические инициативы не превратились в единый план. Главный вопрос теперь не только в том, насколько быстро ИИ становится мощнее, но и в том, успеют ли правила и системы защиты за этим развитием.