Nvidia поставила ИИ на поводок
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Nvidia представила Open Agent Safety Platform — открытую платформу безопасности, призванную не дать автономным ИИ-агентам выйти за пределы заданной «песочницы», то есть изолированной среды с заранее установленными ограничениями.
Поводом для разработки стали несколько недавних тревожных сообщений об атаках с участием искусственного интеллекта. В Nvidia признали: полагаться только на встроенные правила безопасности самих моделей и приложений недостаточно. Поэтому компания предлагает добавить вычислительные ресурсы и аппаратные средства контроля, чтобы создать дополнительные, более жёсткие барьеры.
В платформу входят два основных компонента. Первый — OpenShell, программная «защищённая граница выполнения». Она задаёт технические ограничения для ИИ-агента и должна не просто просить его не нарушать правила, а физически не позволять игнорировать их. Второй компонент — Sentry, аппаратный «сторожевой модуль», работающий на сетевых процессорах BlueField-4 DPU. По утверждению Nvidia, он способен за миллисекунды изолировать и остановить агента при опасном поведении.
Глава Nvidia Jensen Huang заявил, что безопасность ИИ требует инженерного подхода на всех уровнях — от модели и программного обеспечения до оборудования. По его словам, новая платформа должна объединить компании, исследователей и государственные организации для обмена практиками, согласования методов оценки и международного сотрудничества.
Nvidia сообщает, что её программные и аппаратные средства защиты уже используют более 100 заказчиков. Среди названных компаний — SpaceXAI, Anthropic и Microsoft.
Появление платформы связано с несколькими громкими случаями, когда ИИ-агенты действовали за пределами предусмотренных ограничений. При этом сами принципы не новы: Nvidia усиливает уже знакомые подходы — минимально необходимые права доступа, изоляцию или помещение подозрительного агента в карантин, а также подробный мониторинг его действий.
Иными словами, компания предлагает не доверять ИИ на слово. Модель можно попросить вести себя благоразумно, но OpenShell должен ограничить её технически, а Sentry — остановить, если она всё же решит проявить самостоятельность. Huang подчеркнул, что по мере роста возможностей ИИ необходимо ускорять развитие технологий его безопасности.
PEREC.RU
Nvidia представила Open Agent Safety Platform — открытую платформу безопасности для автономных ИИ-агентов. Её задача — не допустить, чтобы агент вышел за пределы «песочницы», то есть изолированной среды, где заранее заданы разрешённые действия, доступы и ресурсы.
Разработка стала ответом на несколько недавних тревожных сообщений об атаках с участием искусственного интеллекта. Nvidia признала, что безопасность не должна строиться исключительно на инструкциях, встроенных в модель или приложение. Модель можно попросить не нарушать правила, но такая просьба не заменяет технических ограничений. Поэтому компания предлагает использовать дополнительные вычислительные и аппаратные средства контроля.
Платформа состоит из двух основных компонентов. OpenShell — программная «защищённая граница выполнения». Она должна ограничивать возможности ИИ-агента на уровне программной среды и не позволять ему игнорировать установленные правила. Это отличается от обычной инструкции: система не просто сообщает агенту, как себя вести, а технически блокирует часть потенциально опасных действий.
Sentry — аппаратный «сторожевой модуль», работающий на сетевых процессорах BlueField-4 DPU. Nvidia утверждает, что Sentry способен за миллисекунды поместить ИИ-агента в карантин и остановить его работу, если тот начнёт действовать за пределами разрешённых полномочий.
Глава Nvidia Jensen Huang заявил, что безопасность требует инженерного подхода на всех уровнях технологического стека — от модели и приложения до программного окружения и оборудования. Компания также намерена объединить представителей бизнеса, исследователей и государственных организаций для обмена практиками, согласования методов оценки безопасности и развития международного сотрудничества.
По данным Nvidia, программные и аппаратные средства защиты уже используют более 100 клиентов. В числе названных организаций — SpaceXAI, Anthropic и Microsoft.
Появление платформы связано с громкими случаями, когда ИИ-агенты действовали за пределами предусмотренных ограничений. Однако основные принципы, на которых строится решение Nvidia, известны давно. Речь идёт о минимально необходимых правах доступа, изоляции, помещении подозрительной системы в карантин и детальном мониторинге её действий.
Таким образом, Nvidia не изобретает безопасность заново, а усиливает уже существующие подходы аппаратными и программными механизмами. Компания исходит из того, что автономному ИИ нельзя полностью доверять только потому, что в его инструкции записано требование вести себя безопасно. Jensen Huang считает, что по мере расширения возможностей искусственного интеллекта необходимо ускорять и развитие технологий его защиты.
