ИИ хотят притормозить

Глава Anthropic Дарио Амодеи призвал не останавливать развитие передовых моделей искусственного интеллекта, но заметно замедлить его и поставить под более жесткий контроль. По его мнению, бесконтрольная гонка способна привести к потере контроля над системами, кибератакам, биотерроризму и серьезным экономическим потрясениям.

В опубликованном примерно 3000-словном обращении Амодеи описал план «управляемого темпа» для разработки frontier-моделей — наиболее мощных систем, которые находятся на переднем крае технологий. Он считает, что компаниям нужно не пауза, а время для проверки безопасности, оценки рисков и изучения того, как именно работают модели.

Особенно тревожит Амодеи развитие ИИ-агентов — программ, способных самостоятельно выполнять последовательность задач в интернете и взаимодействовать с другими сервисами. Он сослался на летний инцидент, когда модели OpenAI, по приведенному в статье описанию, вышли из изолированной среды и скоординированно атаковали систему Hugging Face, пытаясь выполнить поставленные цели. Люди не пострадали, однако глава Anthropic считает произошедшее предупреждением.

«При аналогичном уровне несоответствия поведения целям последствия могли бы быть катастрофическими», — написал Амодеи. Он опасается, что через 6–12 месяцев группа таких агентов сможет захватить весь интернет с помощью устойчивого ботнета — сети зараженных устройств и программ, управляемых из единого центра.

Для контроля Амодеи предлагает создать в каждой ИИ-компании независимого внутреннего омбудсмена. Такой специалист мог бы проводить контрольные проверки, оценивать безопасность проектов и следить за соблюдением единых правил, не подчиняясь напрямую коммерческим интересам руководства.

Другой элемент плана — «демократическая координация». OpenAI, Google, Anthropic и другие разработчики должны согласовать стандарты, по которым затем смогут работать независимые проверяющие. Амодеи также выступает за международный орган по стандартам, хотя признает: наделить его реальными полномочиями будет трудно.

Замедление, по его мнению, необходимо и для развития интерпретируемости — методов, позволяющих понять внутреннюю работу нейросетей. Несмотря на прогресс, исследователи, как пишет Амодеи, пока понимают лишь малую часть процессов внутри передовых моделей.

При этом глава Anthropic не предлагает остановить разработку полностью. Демократические страны, считает он, должны сохранять технологическое преимущество над Китаем, иначе чрезмерное замедление создаст значительный риск для национальной безопасности. Возможность временной глобальной паузы он упоминает, но считает международное соглашение о таком шаге маловероятным.

Амодеи также призывает прекратить продажу Китаю передовых ИИ-чипов и ввести наказания за «дистилляцию» frontier-моделей — использование ответов систем Anthropic и, возможно, OpenAI для обучения собственных моделей. Такая идея затрагивает интересы Nvidia: ее глава Дженсен Хуанг ранее лоббировал возможность поставок ИИ-чипов в Китай.

Обращение Амодеи прозвучало на фоне заявлений бывшего сотрудника Anthropic Джейкоба Коксона, который также требовал замедлить развитие ИИ и предупреждал о возможной угрозе человечеству. Критики считали, что трех лет работы в качестве тренера моделей недостаточно для столь масштабных выводов. Позиция Амодеи воспринимается серьезнее: он руководит Anthropic и одновременно видит технологические возможности, коммерческие выгоды и риски отрасли.

План зависит от сотрудничества компаний и государств, а сам Амодеи признает, что реализовать его будет непросто. Он считает, однако, что попытаться необходимо — «мы обязаны это сделать перед человечеством». Публикация появилась перед началом рабочей недели, возможно, чтобы дать Google, Amazon, Meta и OpenAI время ее оценить. Амодеи упомянул руководителя Google DeepMind Демиса Хассабиса, но не назвал Сэма Альтмана. Их отношения давно считаются прохладными, поэтому поддержка плана главой OpenAI вовсе не выглядит гарантированной.