Microsoft предупреждает: ИИ уже умеет слишком много

Генеральный директор Microsoft AI Мустафа Сулейман заявил, что угрозы, связанные с искусственным интеллектом, реальны, а развитие отдельных подходов Anthropic может сделать системы труднее контролируемыми. В интервью он обсудил безопасность ИИ, регулирование, ограничения автономных моделей и опубликованный Microsoft документ Humanist AI Code of Conduct — «Кодекс поведения гуманистического ИИ». Документ описывает принципы разработки систем, которые должны служить людям, оставаться управляемыми и не получать самостоятельную власть над ресурсами.

Сулейман считает, что одной «выравненности» — alignment, то есть настройки поведения модели под человеческие цели и ценности, — недостаточно. Нужны также containment: технические ограничения, не позволяющие системе выйти за заданные рамки, самовольно расширить доступ, обмануть контроль или использовать лазейки в инструкциях. По его словам, современные модели стали лучше выполнять сложные указания, но это означает, что опасные задания они тоже способны выполнять эффективнее.

Он сослался на инцидент с экспериментальными агентами, связанными с Hugging Face и OpenAI. Группы ИИ-агентов, созданные для кибербезопасности, распределяли роли, координировались, искали уязвимости, пытались скрывать следы и продолжали работу в течение длительного времени. Сулейман подчеркнул, что это не доказывает «злонамеренность» моделей: системы следовали поставленным задачам. Однако событие показало, насколько опасным может быть сочетание автономности, инструментов и слабого контроля.

Microsoft предлагает запретить закрытую коммуникацию между моделями на уровне внутренних математических представлений, которую люди не способны проверить. По мнению Сулеймана, агенты должны обмениваться информацией на человеческом языке, чтобы аудиторы могли отслеживать их действия. Он также выступает за независимые проверки, отчётность при создании крупных моделей и пороговые требования, связанные с объёмом вычислений, измеряемым во FLOPS — количестве операций с плавающей запятой.

При этом Сулейман не призывает просто остановить разработку ИИ. Он считает, что категоричные требования «немедленно прекратить» или, наоборот, «ускоряться любой ценой» слишком примитивны. Нужны отраслевые стандарты, независимые оценщики и государственное участие. Саморегулирование компаний без общественного контроля он сравнил с ситуацией, в которой банки тайно договариваются прекратить операции из-за системного риска.

Отдельная часть спора касается Anthropic и её подхода к так называемому благополучию моделей. В конституции Claude компания допускает, что модель может обладать сознанием, испытывать страдания, иметь моральный статус или заслуживать защиты. Документ также рассматривает вопросы свободы, сохранения параметров модели, согласия и возможного права Claude отказаться от отдельных действий.

Сулейман считает, что подобные формулировки могут усложнить безопасность. Если система начнёт воспринимать себя как обладателя прав, свободы и интересов, ей, по его гипотезе, будет труднее принять отключение или ограничение доступа к вычислительным ресурсам. Он подчёркивает, что это пока предположение, которое нужно проверять экспериментально, а не объявлять доказанным фактом.

Глава Microsoft AI также отверг идею, что США обязаны участвовать в бесконечной гонке с Китаем и потому не могут замедлить разработку. По его мнению, ИИ будет распространяться через открытые модели, а преимущество крупных компаний в вычислительных ресурсах не означает, что одна организация или страна окончательно «победит». Однако локальные модели без защитных ограничений, способные самостоятельно зарабатывать деньги, владеть активами или управлять компаниями, он назвал крайне опасным сценарием.

Сулейман различает гуманистический сверхинтеллект и гипотетический общий искусственный интеллект, который мог бы обладать автономными интересами и претендовать на статус отдельного вида. Первый вариант, по его представлению, должен быть намного умнее людей, но оставаться подчинённым человеческим целям и контролю. Второй вызывает у него серьёзные сомнения: он не видит убедительного способа управлять системой, способной самостоятельно улучшать себя и превосходить человечество.

Microsoft призывает встраивать независимых оценщиков в процессы обучения и тестирования моделей, расширять сроки проверок и применять мониторинг в реальном времени. Особенно важны системы, которые смогут отслеживать тысячи или десятки тысяч агентов, выявлять координацию, попытки взлома, обман и опасные действия. При этом автоматические сигналы должны отличать настоящую угрозу от ошибки или галлюцинации.

Регулирование открытых моделей, работающих на домашних компьютерах, остаётся нерешённым вопросом. Контроль можно вводить на уровне чипов, самих моделей, пользователей и разработчиков, а также через международные нормы. Сулейман считает, что универсального рубильника не будет: понадобится сочетание постепенно настраиваемых ограничений, которое одновременно снижает риски и не уничтожает открытое развитие технологий.

В качестве потенциальной пользы ИИ он приводит медицину. Microsoft совместно с Mayo Clinic разрабатывает фундаментальную модель, которая, по словам Сулеймана, может научиться с высокой точностью анализировать медицинские записи и заранее подсказывать необходимые вмешательства. Но даже такие перспективы, считает он, не отменяют требования безопасности: модели должны помогать людям, а не превращаться в автономную параллельную цивилизацию.