Наделла предлагает считать ИИ скомпрометированным
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Генеральный директор Microsoft Сатья Наделла предложил исходить из неприятного, но практичного допущения: любую модель искусственного интеллекта следует считать потенциально скомпрометированной. Речь не обязательно идет о доказанном взломе. Наделла предлагает заранее учитывать возможность того, что модель ошибается, подверглась вмешательству или действует непредсказуемо.
В длинной публикации в социальной сети X он изложил взгляды на риски, которые несут особенно мощные и сложные системы ИИ, а также на способы эти риски ограничить. По мнению Наделлы, общество больше не может относиться к искусственному интеллекту как к «набору вложенных черных ящиков». Иными словами, пользователю не стоит просто принимать или отклонять совет модели, не понимая, как этот совет появился и какие действия система предпринимала.
Вместо этого глава Microsoft предлагает создавать более прозрачную архитектуру. Модели должны работать в условиях, где их можно изолировать, наблюдать и проверять. Кроме того, после работы системы должны оставаться защищенные от незаметного изменения доказательства, написанные в понятной человеку форме. Такие записи позволили бы разобраться, что именно сделала модель, какие данные использовала и на каком этапе возникла ошибка или вмешательство.
Часть предложений Наделлы совпадает с мерами, о которых уже говорили другие представители технологической отрасли. Среди них — своевременное раскрытие информации об инцидентах, независимые проверки, возможность подтвердить происхождение и надежность данных, а также изоляция потенциально опасных систем.
Особое внимание Наделла уделил именно изоляции. Модель не должна получать бесконтрольный доступ к критически важным ресурсам и выполнять действия без наблюдения. Если система ведет себя неправильно, ее необходимо быстро ограничить, изучить последствия и сохранить проверяемую историю событий.
Идея звучит менее эффектно, чем обещания безошибочного ИИ, зато заметно полезнее. Наделла фактически предлагает строить защиту не на доверии к модели, а на предположении, что однажды она обязательно подведет. Для пользователей это означает простой принцип: ответ ИИ — не окончательная истина, а результат работы инструмента, который должен быть объясним, проверяем и управляем.
PEREC.RU
Когда глава Microsoft предлагает считать ИИ скомпрометированным, в этом слышится редкая для технологического рынка честность — ровно до того момента, пока не замечаешь, что честность здесь еще и хорошая основа для нового рынка контроля. Если модель нельзя принимать на веру, понадобятся наблюдение, журналы действий, аудит и изоляция. Удобно: тревога пользователя превращается в техническое задание.
В этом нет доказательства скрытого умысла — только знакомая логика большой платформы. Сначала отрасль продает будущее, где помощник все понимает; потом напоминает, что помощнику нельзя доверять; затем предлагает инструменты, без которых пользоваться помощником якобы рискованно. Продукт сам себя объявляет сомнительным и предлагает платную систему надзора за сомнением.
При этом сама мысль не глупа. Система, способная действовать, должна оставлять проверяемый след и не получать бесконтрольный доступ к важным ресурсам. Это звучит куда полезнее очередного обещания, что очередное обновление окончательно приручит интеллект. Просто за разумной мерой безопасности стоит внимательно следить: кто пишет правила наблюдения, кто хранит следы и кто получает право объявить проверку достаточной.
Человеку предлагают перестать относиться к модели как к черному ящику, хотя простому пользователю редко дают возможность заглянуть внутрь или проверить, как устроены сами инструменты контроля. Прозрачность здесь рискует стать красивым словом на панели управления, доступной прежде всего корпоративному заказчику. Остальным оставят ответ модели и заверение, что где-то ведется журнал.
И все же предупреждение Наделлы полезно именно своей усталой трезвостью: ИИ может ошибаться, его надо ограничивать, а последствия — разбирать. Теперь осталось применить эту подозрительность не только к модели, но и к компаниям, которые проектируют ее ограждения. Когда продавец одновременно поставляет опасный инструмент и систему надзора за ним, доверие становится не стартовой позицией, а отдельной строкой в договоре.
