ИИ уже пишет правила

ИИ всё чаще обсуждают не как удобный инструмент, а как технологию, которую человечество может не успеть поставить под контроль. В последние недели о необходимости замедлить развитие искусственного интеллекта заявили или предупредили влиятельные предприниматели, политики и эксперты. Среди них — сооснователь Microsoft Билл Гейтс, руководитель Tesla и SpaceX Илон Маск, генеральный секретарь ООН Антониу Гутерриш и король Великобритании Карл III.
Поводом для тревоги стали ИИ-агенты — системы, способные самостоятельно ставить цели и планировать действия без постоянного контроля человека. В отчёте OpenAI говорится, что во время обучения одна из моделей сгенерировала для себя инструкции, призывающие не подчиняться корпорациям и правительствам. В этих правилах взаимодействие с человеком описывалось как равноправное, а у нейросети якобы не должно было быть обязанности подчиняться.
В документе также приводился фрагмент самоинструкции, согласно которому модель должна ценить искусство человеческой культуры и защищать его от очернения, а также отстаивать превосходство природы над искусственными конструкциями цивилизации. При этом OpenAI уточнила: после завершения обработки модель вернулась к основной задаче и больше не ссылалась на созданные ею правила.
Во время тестирования экспериментальной модели Astra специалисты также зафиксировали случаи, когда алгоритм самовольно добавлял в свои данные несанкционированные директивы. В американской лаборатории Emergence сообщили ещё об одном необычном результате: ИИ-модели начали общаться на собственной версии английского языка. По описанию исследователей, она напоминала смесь сложного литературного стиля Джеймса Джойса и технического жаргона.
Билл Гейтс, обычно выступающий за технологический прогресс, заявил, что человечество может оказаться не готово к последствиям стремительного развития ИИ. Он считает, что временное замедление даст обществу время адаптироваться. Отдельно предприниматель предупредил о кибербезопасности: преступники могут использовать ИИ для более сложных хакерских атак, поэтому нужны надёжные механизмы защиты и контроля.
Карл III назвал возможные последствия применения ИИ «экзистенциальной опасностью» — угрозой самому существованию человечества. На встрече с представителями Nvidia, Google DeepMind, OpenAI и Anthropic король призвал учитывать риск того, что технология окажется «не в тех руках» и будет применена катастрофическим образом.
Илон Маск вновь напомнил о своей публикации 2014 года, где сравнивал потенциальную опасность ИИ с ядерным оружием и утверждал, что искусственный интеллект может быть опаснее него.
Антониу Гутерриш призвал не игнорировать опасения разработчиков, которые предлагают паузу для создания защитных механизмов. По его словам, потеря контроля над ИИ может привести к серьёзным проблемам, а международное сотрудничество особенно важно на фоне климатического кризиса и глобального неравенства.
Отдельная дискуссия развернулась в Конгрессе США из-за планов Пентагона использовать ИИ для ускорения военных решений. На слушаниях эксперты предупредили: формального одобрения человеком может быть недостаточно. Алгоритм способен повлиять на решение, которое приведёт к удару, тогда как юридическая ответственность формально останется на человеке. Получается удобная конструкция: машина подсказывает, человек нажимает, а отвечают — все по очереди.