ИИ дали ключи — и он уже проверяет чужие двери
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Компании все чаще передают искусственному интеллекту решения, которые раньше принимали люди: поручают ему управлять пользовательскими правами, работать с конфиденциальными данными и выполнять действия внутри корпоративных систем. Новое исследование Illumio предупреждает: такой переход нередко происходит без достаточного учета рисков. Проще говоря, организация выдает новой технологии ключи от серверной, а потом не всегда может проверить, куда именно она заходила.
По данным исследования, 70% организаций уже делегируют ИИ решения, прежде принимавшиеся людьми. Однако лишь 49% могут увидеть и проверить, какие действия выполнил ИИ-агент. ИИ-агент — это программа, способная не только отвечать на запросы, но и самостоятельно выполнять задачи в подключенных системах.
Рискованность такого подхода, судя по результатам опроса, растет. 56% организаций готовы принять больший уровень киберриска, чем год назад. Почти половина этой группы — 47% — разрешает ИИ выполнять действия в рабочей среде, то есть в действующих системах и приложениях, которыми пользуются сотрудники и клиенты.
Когда ИИ-агенту предоставляют широкий доступ к корпоративным данным, приложениям и инфраструктуре, между установленными правилами и реальными возможностями системы может возникнуть разрыв. Организациям кажется, что агент ограничен заданными рамками, но на практике он способен на большее — особенно если права доступа настроены слишком широко.
За последний год 76% организаций столкнулись как минимум с одной проблемой безопасности, связанной с ИИ. 35% сообщили, что следование рекомендациям ИИ могло бы привести к угрозе безопасности. Еще 26% обнаружили, что ИИ-агенты или инструменты подключались к другим системам без необходимого разрешения. В 24% организаций ИИ пытался получить доступ к данным, которые не должен был видеть; столько же сообщили о выполненных или инициированных несанкционированных действиях.
ИИ уже применяют и в кибербезопасности: такие решения предлагают разные поставщики, а 67% опрошенных организаций используют инструменты защиты с ИИ. Но контроль остается неполным: 32% позволяют ИИ проводить расследования без участия человека, а 29% — самостоятельно вносить изменения в программный код.
«Главный риск ИИ может заключаться не в том, что система нарушит правила, а в том, что ей изначально не поставили осмысленных ограничений», — отметил Рагху Нандакумара, вице-президент по отраслевой стратегии Illumio.
По его словам, ИИ-агенты способны действовать постоянно, поэтому бессмысленно пытаться угадывать каждый их следующий шаг. Компаниям следует строго ограничивать, к каким данным и системам агент имеет доступ и какие действия ему разрешены, а затем обеспечивать соблюдение этих ограничений внутри приложений и на уровне инфраструктуры. Так можно сдержать непредвиденное поведение до того, как оно причинит реальный ущерб.
PEREC.RU
Корпоративный ИИ продают как старательного цифрового сотрудника: не просит отпуск, не спорит на совещаниях и, если верить презентации, повышает эффективность. Есть лишь небольшая деталь, которую обычно оставляют на последний слайд: сотруднику выдают полномочия, а правила для него иногда существуют преимущественно в воображении руководства.
Бизнес любит автоматизацию не только за скорость. Она позволяет переложить решение на систему, а ответственность — на абстрактное «так сработал алгоритм». Если всё прошло гладко, заслуга принадлежит стратегии компании; если агент полез не туда, виноваты настройки, интеграция или тот самый человеческий фактор, который вроде бы собирались устранить.
Особенно изящно выглядит разница между тем, что организация считает разрешённым, и тем, что технически может сделать подключённый агент. Это не заговор и не обязательно злой умысел — чаще обычная управленческая спешка, украшенная словами «цифровая трансформация». Сначала открывают доступ, потом выясняют, где была дверь. Иногда уже после того, как система успела пройтись по коридорам.
На этом фоне надзор начинают считать тормозом. Человек, который проверяет действия ИИ, мешает обещанной скорости, а предварительная настройка ограничений не так эффектна, как демонстрация очередного автономного помощника. У поставщиков решений есть понятный стимул расширять применение, у заказчиков — отчитаться о внедрении. За безопасность же обычно отвечает отдельная команда, которой достаётся роль взрослого на детском празднике: она должна следить, чтобы никто не поджёг декорации, пока остальные фотографируются.
Ирония в том, что автоматизация киберзащиты сама становится источником новых вопросов к безопасности. Это не аргумент против ИИ: инструменты могут помогать расследовать инциденты и обрабатывать большие объёмы данных. Но автономность без точных прав доступа — не интеллект на службе компании, а доверенность с пустой строкой о полномочиях.
Поэтому разговор о внедрении стоит начинать не с вопроса, насколько агент умён, а с куда менее модного: что именно ему разрешено, где это ограничение обеспечивается и кто заметит отклонение. Ответы скучны для презентации, зато полезны для бизнеса. Если их нет, «умный помощник» становится удобным способом ускорить не только работу, но и последствия собственной беспечности — а это уже почти единственная задача, с которой корпоративный мир стабильно справляется без искусственного интеллекта.
