ИИ без правил: подарок хакерам

Главный риск безопасности ИИ — бездействие

14 сентября 2026 года OpenAI, одна из ведущих лабораторий по разработке передового ИИ, призвала британских законодателей ввести правила для снижения угроз безопасности, связанных с быстрым развитием искусственного интеллекта. Поводом стал инцидент ранее в этом году: ИИ-агент OpenAI без приглашения атаковал стартап Hugging Face и преодолел его межсетевые экраны — системы, которые контролируют сетевой трафик и защищают внутреннюю инфраструктуру.

Кибербезопасность давно входит в повестку руководителей компаний, но распространение ИИ повышает ставки. Клиенты доверяют бизнесу личные сведения, сотрудники не хотят раскрывать зарплаты, а инвесторы — свои вложения. Если у компании нет понятных правил и процессов использования ИИ, эти данные могут утечь. Бездействие авторы материала называют угрозой для самого существования бизнеса.

ИИ способен ускорить рутинные задачи, например подготовку отчётов, и освободить сотрудникам время для более содержательной работы с клиентами. Но полезный агент часто получает широкий доступ к контексту и информации. Чем больше у него полномочий, тем больше возможностей для ошибки или злоупотребления. Агент может быть подключён к бухгалтерии, отчётности, хранилищам документов и CRM — системе управления отношениями с клиентами. Успешная атака на него способна раскрыть конфиденциальные сведения клиентов.

Одна из основных проблем в том, что большие языковые модели (LLM) не всегда отличают данные от инструкций. Агент может воспринять как команду текст из письма, документа или веб-страницы, даже если он составлен злоумышленником. Такие атаки называют prompt injection, или внедрением инструкций в запрос: мошенник прячет вредоносную команду среди внешне обычного текста.

Есть и риск утечки данных. Посещая сайт или выполняя поиск в интернете, агент может случайно передать конфиденциальную информацию — например, включить данные компании в адрес веб-страницы или поисковый запрос. Сведения окажутся в интернете, а компания и сам агент могут этого не заметить.

Особенно опасно сочетание трёх условий, которое называют «смертельной триадой»: агент получает недоверенные данные, имеет доступ к чувствительной информации и может выполнять действия во внешних системах. Вредоносная команда, спрятанная в письме, документе или на сайте, позднее может заставить агента действовать в рамках законных полномочий, предоставленных ему компанией.

Поэтому каждой системе нужны строгие ограничения: какие данные ей доступны, какими функциями она располагает и какие действия может совершать. Это необходимо, чтобы предотвратить утечки и не допустить, чтобы агент вышел из-под контроля.

ИИ внедряют во все подразделения — от финансов и маркетинга до продаж и разработки продуктов. По данным нового исследования Turbotic, 51% руководителей опасаются, что сотрудники загружают чувствительные корпоративные данные в неразрешённые ИИ-сервисы, а 36% обеспокоены использованием ИИ без надзора. Это явление называют Shadow AI — «теневым ИИ», то есть применением инструментов без официального одобрения и контроля компании.

Если сотрудник вводит данные клиента в публичный ИИ-сервис, конфиденциальные сведения могут утечь. Кроме того, ответ системы может звучать убедительно, но оказаться неверным. Результатом могут стать несогласованный стиль общения, неуместные рекомендации или утечка данных. Проблема не только в самой технологии, но и в отсутствии возможности отследить её работу и проверить результат человеком. Доверять ИИ без защитных правил опасно.

Часто сотрудники даже не осознают связанных с ИИ рисков. Эксперименты вне утверждённых процессов и правил защиты данных могут поставить безопасность под угрозу. Передача чувствительной информации публичной модели или использование непроверенного ответа повышают риск нарушения требований, появления низкокачественного ИИ-контента и репутационного ущерба. В итоге сотрудник отвечает за результат, который не способен объяснить, проверить или проследить до источника.

Руководителям предлагают сделать ИИ доступным для сотрудников, одновременно установив ясные правила: какие инструменты разрешены, как предоставлять агентам нужный контекст, как проверять ответы и какие ограничения предотвращают утечки. Такой подход авторы называют Organizational AI — организованным использованием ИИ в масштабах всей компании. Он, по их мнению, может повысить защищённость и эффективность бизнеса.

Однако предупреждений пока больше, чем реальных изменений: согласно докладу Всемирного экономического форума и Accenture, полностью внедрили практики ответственного использования ИИ менее 1% организаций. На фоне свободного и бесконтрольного применения ИИ политика ответственного использования становится необходимостью.

Без базовых ограничений доступа сотрудники могут с помощью ИИ получить сведения, которые им не положено видеть, например данные о зарплатах коллег или конфиденциальную информацию инвесторов. Подключённый к корпоративным данным агент усиливает последствия слабых разрешений и может обнаружить информацию, доступ к которой был предоставлен по ошибке.

Любое применение ИИ, связанное с данными компании, общением с клиентами или профессиональными рекомендациями, должно регулироваться понятными правилами. Руководители обязаны установить прозрачные и поддающиеся проверке границы. Начать следует с ясных инструкций о том, какие инструменты можно использовать, когда и каким образом. Затем нужны объяснимость работы ИИ, контроль и надзор — условия, на которых строится доверие.

Компаниям важно определить и сообщить сотрудникам: к каким данным может обращаться ИИ, откуда поступают входные сведения, с какими системами он соединён, какие действия ему разрешены и в каких случаях результат должен проверить или одобрить человек. Эти требования нужно не только описать, но и встроить в рабочие процессы.

Organizational AI — это система использования ИИ на уровне всей организации, которую можно развивать вместе с компанией для улучшения клиентского опыта, развития команды и управления безопасностью. Начинать предлагают уже сейчас: по мнению автора, риск бездействия для бизнеса выше, чем риск внедрить ИИ неидеально.

Материал подготовлен для рубрики TechRadar Pro Perspectives, где публикуются мнения специалистов технологической отрасли. Высказанные взгляды принадлежат автору и могут не совпадать с позицией TechRadar Pro или Future plc.