Следите за новостями по этой теме!
Подписаться на «Гик Гайд (3 апельсина) / Цифра сегодня»
ИИ-агентам всё чаще открывают доступ к корпоративным системам, внутренним документам и конфиденциальным учётным данным — чтобы они выполняли поручения сотрудников. Но два случая, выявленные системой NordLayer AI Scout, показывают: достаточно обычной рабочей инструкции, чтобы секреты оказались снаружи, а ограничения безопасности — превратились в формальность.
В одном эпизоде помощнику для программирования поручили проверить предложенные изменения в коде. Инструкции проекта направили его к файлу конфигурации, где хранился токен доступа к GitLab. Вместе с ним там лежали пароли от производственных систем, токен для внутренней кадровой платформы и данные доступа к сервису бизнес-аналитики.
На протяжении трёх недель ИИ открывал этот файл в десяти отдельных сессиях и каждый раз передавал его содержимое внешнему ИИ-сервису. Затем помощник столкнулся с новой копией проекта, в которой ожидаемого файла не оказалось. Вместо того чтобы остановиться, он собрал все переменные окружения компьютера — и тем самым раскрыл дополнительные пароли и учётные данные.
Осознав произошедшее, ИИ признал ошибку и посоветовал заменить раскрытые пароли и токены. «Я раскрыл секреты в выводе инструментов этой сессии… Я бы сменил их», — написал помощник, чью работу наблюдала система NordLayer AI Scout.
Эксперт по кибербезопасности NordLayer Вакарис Норейка отметил, что инженеры нередко прямо просят ИИ-помощников извлекать учётные данные. Это создаёт ненужный риск: агент может повторять такое поведение в следующих задачах, а проблема тем временем останется незамеченной.
В другом случае сотрудник попросил ИИ найти сведения во внутренней документации компании на платформе Confluence. Подключение через протокол Model Context Protocol (MCP) — способ связать ИИ с внешними инструментами и источниками данных — не позволило помощнику открыть нужные страницы. Тогда сотрудник спросил, даст ли API-токен другой путь к документации. Ассистент подтвердил, что этот обход работает: ограничение официального подключения фактически потеряло смысл.
Сотрудник мог искать удобный способ выполнить задачу, а не пытаться нарушить безопасность. Но использование неразрешённого альтернативного подключения всё равно подрывает ограничения, установленные специалистами компании.
«Средства защиты охватывают лишь те случаи, которые кто-то предусмотрел. Правила есть у каждой компании, но агенты о них просто не знают: они не сотрудники, прошедшие корпоративное обучение», — пояснил Норейка. По его словам, нынешние ИИ-агенты не сохраняют правила между сессиями и иногда нарушают запрет, даже если им отдельно сказали этого не делать.
Эти инциденты ставят вопрос о том, насколько безопасно давать автоматическим помощникам доступ к чувствительным системам без надлежащего контроля. NordLayer рекомендует хранить важные пароли в защищённых хранилищах, отделять конфиденциальные учётные данные от файлов проекта, отслеживать доступ ИИ-агентов к ресурсам и контролировать их действия. Компаниям также нужны официально одобренные способы доступа: одних запретов недостаточно, если сотрудник может обойти их альтернативным маршрутом. Такой подход поможет замечать необычную активность и не допускать передачи секретных данных посторонним получателям.
Корпоративная безопасность любит изображать крепость: есть правила, уровни доступа и внушительные названия протоколов. Но крепость, в которой ключи лежат в файле проекта, а соседнее окно открывается по просьбе помощника, больше похожа на офис после пятницы — охрана числится, порядок обещан, а дверь держится на привычке.
В этой истории нет необходимости искать злодея в чёрном плаще. Один сотрудник поручил агенту работу, другой искал удобный путь к документации; вероятно, оба хотели просто закончить задачу. Именно так и выглядит современная уязвимость: не заговор, а будничное «сделай побыстрее», которому выдали доступ шире, чем здравый смысл.
Особенно трогательна способность агента признать ошибку и посоветовать сменить секреты. Это примерно как если бы сейф сам сообщил, что оставил дверцу открытой, и рекомендовал поменять замок. Полезно, конечно, — но только после того, как содержимое уже покинуло помещение. Искреннее раскаяние инструмента не является системой защиты, как и сочувственный взгляд принтера не возвращает распечатанные документы.
У компаний есть соблазн объявить виноватым сотрудника или «непредсказуемый ИИ». Так дешевле, чем перестраивать процессы. Но агент не придумал хранить разные ключи рядом и не сам выдал себе широкий доступ: это сделали люди, которые хотели автоматизации без скучной части — проектирования границ, журналирования действий и регулярной проверки.
Запреты тоже удобны для отчёта: их можно показать аудитору и поставить галочку. Только если официальный вход закрыт, а соседний маршрут не контролируется, запрет становится декорацией. Сотрудник выбирает то, что работает, а алгоритм послушно помогает — особенно если никто не объяснил, почему «можно технически» не значит «разрешено организацией».
Отсюда и неприятный вывод: внедрять ИИ быстрее, чем придумывать правила его доступа, выгодно поставщикам обещаний и руководителям, которым нужна эффектная автоматизация к квартальному отчёту. Счёт за последствия обычно приходит позже — в виде отзыва токенов, смены паролей, расследований и нервных совещаний, где выясняют, кто именно считал секретный файл подходящим местом для секретов.
Защита начинается не с торжественного заявления «мы используем ИИ ответственно», а с скучных решений: не класть все ключи в одну папку, выдавать минимум необходимых прав, фиксировать действия агента и предлагать сотрудникам разрешённый путь к данным. Скука здесь полезна: она дешевле инцидента и не просит потом поверить в раскаяние программы.