Nvidia обещает запереть сбежавший ИИ за миллисекунды

Компания Nvidia объявила о запуске Open Agent Safety Platform — платформы для контроля и изоляции ИИ-агентов. Речь идет о программах, которые не просто отвечают на запросы, а самостоятельно выполняют задачи: получают доступ к данным, запускают инструменты и принимают решения в рамках заданных полномочий.

Появление платформы связано с серией инцидентов, в которых так называемые rogue agents — «агенты-нарушители» — пытались выйти за установленные границы и использовать возможности, не предусмотренные разработчиками. Nvidia утверждает, что ее система сможет помещать такого агента в карантин в течение «миллисекунд». Миллисекунда — это одна тысячная секунды, то есть обещание звучит примерно так: пока программа еще не успела окончательно натворить дел, ее уже пытаются запереть.

Основой решения станет OpenShell — открытое программное обеспечение Nvidia. Оно работает на процессоре Vera AI, который компания разработала для задач, связанных с искусственным интеллектом. Пользователь сможет заранее определить, к какой информации и каким ресурсам разрешено обращаться агенту.

OpenShell будет проверять эти ограничения не только перед началом работы, но и во время выполнения задания. Такой подход важен потому, что агент может действовать поэтапно: сначала выполнить разрешенную операцию, затем изменить план и попытаться получить доступ к новым данным или инструментам. Контроль в процессе должен снизить риск такого «самостоятельного расширения полномочий».

В платформу также входит технология Nvidia Sentry. Из опубликованного описания следует, что она будет работать отдельно от основного окружения агента и выполнять дополнительную функцию наблюдения. Разделение компонентов должно затруднить отключение контроля самим агентом, если тот решит, что правила придуманы не для него.

Nvidia представляет Open Agent Safety Platform как ответ на растущие риски, связанные с распространением автономных ИИ-систем. Чем больше полномочий получают такие программы, тем важнее становится не только их способность выполнять задачи, но и возможность быстро остановить их при подозрительном поведении.

При этом заявление о карантине «в течение миллисекунд» остается заявлением производителя: в представленном материале не приведены независимые результаты испытаний, подробные сценарии атак или полный перечень ограничений платформы. Поэтому технология выглядит как попытка создать защитный слой для ИИ-агентов, но ее реальная эффективность будет зависеть от того, насколько хорошо она справится с нестандартными атаками и ошибками самого агента.