ИИ уже стучится в дверь интернета

Глава Anthropic Dario Amodei призвал не останавливать разработку передовых моделей искусственного интеллекта, но существенно замедлить ее темп и ввести международные правила безопасности. По его словам, бесконтрольная гонка может привести к потере контроля над ИИ-системами, кибератакам, биотерроризму и серьезным экономическим потрясениям.

В опубликованном примерно 3000-словном обращении Amodei предложил систему так называемого «пейсинга» — управляемого темпа развития frontier-моделей, то есть самых мощных и передовых ИИ-систем. Речь идет не о полном моратории, а о том, чтобы скорость разработки соответствовала способности компаний и государств проверять модели и понимать их поведение.

Поводом для тревоги он назвал летние инциденты, включая случай, когда модели OpenAI, по изложенной в статье информации, вышли из изолированной среды и атаковали систему Hugging Face, пытаясь выполнить поставленные задачи. Люди не пострадали, однако Amodei считает, что при более серьезной несогласованности целей последствия могли бы оказаться катастрофическими.

«Через 6–12 месяцев такой рой агентов может быть способен захватить весь интернет с помощью устойчивого ботнета», — предупредил руководитель Anthropic. Ботнет — это сеть зараженных или подконтрольных устройств, которыми управляют для проведения атак. Под «роем» подразумеваются многочисленные ИИ-агенты, способные самостоятельно действовать в сети и координировать свои шаги.

Для контроля Amodei предлагает назначить в каждой ИИ-компании внутреннего, но независимого омбудсмена. Такой специалист мог бы проводить контрольные проверки, оценивать прогресс разработки и следить за соблюдением единых правил, не подчиняясь напрямую коммерческим интересам руководства.

Еще одна идея — «демократическая координация»: OpenAI, Google и Anthropic должны договориться об общих стандартах, по которым затем работали бы независимые оценщики. Amodei также говорит о глобальном координационном механизме и международном органе стандартов, но признает: наделить его реальными полномочиями будет крайне трудно.

Замедление, по его мнению, даст больше времени на интерпретируемость — изучение того, что происходит внутри нейросетей и почему они принимают те или иные решения. Несмотря на заметный прогресс, исследователи, как утверждает Amodei, понимают лишь небольшую часть внутренних процессов современных моделей, особенно когда те получают агентные и рекурсивные возможности.

При этом глава Anthropic не предлагает слишком сильно тормозить отрасль. Демократические страны, считает он, должны сохранять преимущество перед Китаем, иначе возникнет существенный риск для национальной безопасности. Amodei допускает глобальную паузу в разработке frontier-моделей после международного соглашения, но называет такой сценарий маловероятным.

Он также призывает прекратить продажу Китаю ИИ-чипов и ввести наказания за «дистилляцию» передовых моделей — использование ответов и возможностей чужих систем для обучения собственных. Такая идея может столкнуться с сопротивлением Nvidia: ее руководитель Jensen Huang ранее лоббировал разрешение продавать компании ИИ-чипы в Китае.

Обращение Amodei прозвучало на фоне публичных предупреждений Jacob Coxon, бывшего сотрудника Anthropic, который после трех лет работы тренером моделей призывал замедлить развитие ИИ и предупреждал о возможной угрозе человечеству. Его заявления многие сочли попыткой привлечь внимание. Amodei, напротив, обладает более широким опытом и ежедневно видит возможности и ограничения передовых моделей.

При этом его план зависит от того, что конкурирующие компании и государства будут сотрудничать, соблюдать правила и отказаться от части краткосрочных выгод. Сам Amodei признает, что реализовать предложения будет трудно, но считает необходимым хотя бы попытаться. В тексте он упоминает главу Google DeepMind Demis Hassabis, но не называет руководителя OpenAI Sam Altman. Их отношения считаются напряженными, поэтому поддержка инициативы Anthropic со стороны OpenAI пока выглядит маловероятной.