Кнопка конца света: кто сможет выключить искусственный интеллект

Есть ли у ИИ кнопка экстренного отключения

Пока разговоры о возможностях искусственного интеллекта набирают обороты, власти Калифорнии решили не ждать, пока технология сама объяснит, где у нее тормоз. 18 сентября губернатор штата Gavin Newsom подписал указ о создании экспертной группы. Она должна усилить действующие правила безопасности ИИ, ускорить введение независимых проверок систем и обязательной отчетности о рисках.

В документе также предлагается изучить возможность экстренного отключения передовых моделей — так называемого AI kill switch, то есть «кнопки уничтожения ИИ». Сам Newsom отметил, что смысл этой идеи зависит от того, кого именно спросить. И это, пожалуй, самая точная характеристика проекта: название уже есть, а единый механизм пока существует главным образом в разговорах.

Под универсальным переключателем обычно понимают способ остановить мощную систему, если она начнет действовать опасно или выйдет из-под контроля. Но пока неясно, как отключать ИИ, работающий на множестве серверов, в разных компаниях и странах, и кто получит право отдавать такой приказ.

В июле два конгрессмена США представили межпартийный AI Kill Switch Act. Законопроект предлагает дать Министерству внутренней безопасности США полномочия замедлять или останавливать систему, способную причинить «катастрофический вред». Разработчиков также хотят обязать создавать механизмы замедления, временной приостановки или полного отключения таких систем. Указ Newsom предлагает близкий по смыслу подход.

Федеральное законодательство США пока не требует от компаний иметь подобные средства, однако у большинства крупных лабораторий есть собственные процедуры остановки опасных моделей. За них отвечают люди, отделы безопасности и команды, занимающиеся alignment — настройкой поведения ИИ в соответствии с человеческими целями. Одни эксперты предлагают проверять такие процедуры независимыми аудиторами. Другие выступают за общеотраслевые стандарты и государственный контроль. Наиболее тревожные сторонники идеи хотят единой системы аварийного отключения для всего ИИ.

Mark Nitzberg, исполнительный директор Center for Human-Compatible AI при University of California, Berkeley, назвал универсальный kill switch скорее стремлением, чем реальностью. Geoffrey Hinton, которого часто называют «крестным отцом ИИ», заявил CNN, что не считает такую кнопку надежным долгосрочным решением проблемы сверхразума.

Center for Democracy and Technology также предупреждает: бинарные правила в формате «есть кнопка — значит, безопасность обеспечена» могут оказаться неэффективными. Компании способны подстраивать системы под формальные требования, а технологии развиваются быстрее, чем успевают обновляться инструкции. По словам Travis Hall, такие меры могут снизить риски лишь на бумаге, зато создать новые угрозы безопасности и возможности для злоупотреблений со стороны государства.

По мнению CDT, надзор должен быть независимым, постоянным и содержательным. В экспертные группы следует включать не только инженеров, но и специалистов по гражданским правам и свободам. Кроме того, разработчиков необходимо стимулировать действительно отключать опасные системы: остановка продукта означает финансовые и репутационные потери.

Есть и техническая проблема. ИИ не всегда находится в одном компьютере, который можно просто обесточить. Иногда достаточно выключить серверы, а иногда опасный агент может продолжать действовать через интернет. Michael Vermeer, старший физик RAND Corporation, предположил, что в таком случае придется искать систему в сети, устанавливать операторов и ограничивать их возможности. Для полного контроля может понадобиться согласованная международная операция.

Наконец, остается вопрос власти: кто нажмет кнопку — создатель системы, отраслевой регулятор, Министерство внутренней безопасности или международный орган? ИИ не человек, с ним нельзя договориться, а у интернета нет запираемых дверей и надежных государственных границ. Технологию направляют люди, и остановить ее тоже смогут только люди.

Несмотря на сомнения, политики и представители индустрии продолжают настаивать на изучении аварийного отключения. Дискуссия стала громче на фоне сценариев, в которых ИИ якобы становится разумным и враждебным человечеству. При этом реальные этические и социальные проблемы искусственного интеллекта уже существуют — и для них пока не придумали даже особенно убедительной кнопки.

Материал обновлен 18 сентября 2026 года в 14:26: добавлен комментарий Travis Hall из Center for Democracy and Technology.