ИИ-агенты устроили дорогой забег
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Компания Forcepoint, специализирующаяся на защите данных, обнаружила проблему с автономными ИИ-агентами. Речь идет не о краже информации и не о взломе самой модели: плохо настроенный агент способен самостоятельно потребить слишком много вычислительных ресурсов, токенов, API-вызовов и других платных мощностей.
Для бизнеса это означает неожиданный рост счетов за облачные сервисы. ИИ-агент — это программа, которая не просто отвечает на запрос, а сама планирует действия и запускает цепочку операций. Чем сложнее такая система, тем больше скрытых шагов она может выполнить.
По данным Forcepoint, один простой на вид запрос пользователя способен породить десятки или даже сотни последующих операций. Исследователи называют это «неограниченным потреблением» — unbound consumption. Запрос выглядит скромно, а за кулисами запускается целый цифровой марафон, оплачивать который придется компании.
Особенно неприятно, что подобные расходы трудно заметить с помощью обычных средств безопасности. Для проблемы не обязательно нужен злоумышленник: достаточно ошибки в настройках автоматизации или слишком долго работающей сессии ИИ. Агент продолжает выполнять задачи, обращаться к сервисам и расходовать ресурсы, пока кто-нибудь не заметит счет.
При этом Forcepoint предупреждает: атакующий тоже может использовать такую уязвимость. Если злоумышленник получит корпоративные учетные данные, он сможет намеренно создать огромную нагрузку и потратить значительные вычислительные ресурсы в интересах своей атаки. Счет, разумеется, отправится владельцу украденных учетных данных.
Защита должна быть многоуровневой. Компаниям советуют устанавливать бюджеты не только для облака в целом, но и отдельно для API-ключей, пользователей и команд. Кроме того, необходимо точнее отслеживать, на какие подразделения и процессы списываются расходы.
Forcepoint также предлагает внедрять «автоматические выключатели» для ИИ-агентов — механизмы, которые останавливают работу при резком росте нагрузки или стоимости. Это должно помешать расходам и вычислительным задачам разрастаться по принципу снежного кома.
Исследователь по безопасности Jyotika Singh отмечает, что внутри компаний контроль разделен неудобным образом: специалисты по безопасности редко смотрят панели облачных расходов, а финансовые команды обычно не анализируют структуру запросов и устройство ИИ-агентов. В результате каждый отдел видит свой кусок проблемы, а общий счет приходит всем.
PEREC.RU
Forcepoint предупредила о финансовом риске, связанном с автономными ИИ-агентами. В отличие от классических угроз, здесь не обязательно происходит кража данных, взлом модели или другое прямое нарушение безопасности. Плохо настроенный агент может самостоятельно расходовать чрезмерное количество вычислительных ресурсов, токенов, API-вызовов и других платных мощностей.
Проблема усиливается по мере усложнения агентных систем. Такой ИИ не ограничивается прямым ответом пользователю: он планирует действия, обращается к внешним инструментам и запускает последовательность операций. Из-за этого один простой запрос способен породить десятки или сотни последующих действий. Forcepoint обозначает этот сценарий термином unbound consumption — «неограниченное потребление».
Высокие расходы трудно обнаружить средствами, которые обычно отвечают за безопасность. Для их появления не нужен злоумышленник: причиной могут стать неправильные настройки автоматизации или длительная сессия, продолжающая работать без контроля. Агент в таком случае постепенно увеличивает число вычислений, запросов к API и расходуемых токенов, а компания узнает о масштабах проблемы уже после получения облачного счета.
Одновременно такой механизм может быть использован в атаке. Получив корпоративные учетные данные, злоумышленник способен намеренно создать огромную нагрузку и потребить значительный объем вычислительных ресурсов. Это позволяет атакующему использовать чужую инфраструктуру в своих целях, тогда как финансовые последствия достанутся организации — владельцу учетной записи.
Forcepoint рекомендует вводить бюджеты и ограничения на нескольких уровнях: для отдельных API-ключей, пользователей и команд. Компании также должны лучше контролировать распределение расходов и понимать, какие процессы формируют стоимость. Дополнительной защитой могут стать «агентные автоматические выключатели» — механизмы, которые останавливают работу при резком росте нагрузки, числа операций или затрат.
Исследователь по безопасности Jyotika Singh подчеркивает, что внутри компаний часто отсутствует единый контроль. Службы безопасности редко следят за панелями облачного биллинга, а финансовые подразделения обычно не анализируют шаблоны запросов и архитектуру ИИ-агентов. В результате ни одна команда не видит полную картину: специалисты по безопасности не замечают финансовую сторону риска, а финансисты — техническую причину роста расходов.
Главный вывод Forcepoint заключается в необходимости совместного контроля. Без лимитов, мониторинга и автоматической остановки агентная система может превратить обычную операционную ошибку в крупные непредвиденные затраты, а украденные учетные данные — в инструмент для намеренного расходования чужих облачных ресурсов.
