ИИ читает — сети заражаются

Исследователи обнаружили новый способ атаки на корпоративные сети: злоумышленники могут использовать ошибки в документации, которую читают ИИ-агенты для программирования. Речь идет о файлах llms.txt и llms-full.txt — это относительно новые текстовые форматы, созданные для того, чтобы искусственный интеллект мог быстрее и точнее знакомиться с содержимым сайта.

Если ИИ-агенту поручают установить программное обеспечение или добавить код в проект, он способен искать подходящее решение в таких документах по всему интернету. Проблема в том, что документация бывает устаревшей, скопированной с ошибками или просто выдуманной самой нейросетью. В результате в ней могут оказаться ссылки на пакеты программ и домены, которых в действительности не существует.

Исследователи проверили 6214 действующих доменов, связанных с оборонными подрядчиками, компаниями из списка Fortune 500 и крупными технологическими организациями. На этих сайтах они нашли 8265 файлов llms.txt и llms-full.txt. В 120 файлах, причем каждый находился на отдельном сайте, были указаны программные пакеты или доменные имена, которые никто не зарегистрировал.

Причины могут быть вполне будничными: человеческая ошибка, переименование или заброшенность пакета, неудачное копирование текста либо так называемая галлюцинация ИИ — убедительно звучащая, но неверная информация, созданная нейросетью.

Чтобы проверить риск, исследователи зарегистрировали часть свободных доменов и названий пакетов, а затем разместили там тестовые пакеты. После установки они отправляли сигнал на сервер исследователей. Менее чем через час один из клиентов из списка Fortune 500 начал обращаться к этому серверу. Вскоре к нему присоединились еще «несколько десятков» систем.

Эксперимент показывает: если исследователи смогли занять забытые имена, то же самое могут сделать киберпреступники — только вместо безобидного сигнала разместить вредоносную программу. Если ИИ-агент имеет право выполнять команды оболочки или менеджера пакетов и встретит такую документацию, он способен сам установить опасный код на устройство.

По словам исследователей, в эксперименте уязвимое поведение продемонстрировали Claude, Codex от OpenAI и Hermes от Nous Research. Это не означает, что каждая установка с их помощью опасна, но показывает: документация может стать частью цепочки атаки.

Для снижения риска компаниям необходимо проверять файлы llms.txt и llms-full.txt, удалять неактуальные записи и не оставлять ссылки на незарегистрированные или сомнительные ресурсы. Одновременно ИИ-агенты не должны воспринимать найденную документацию как безусловную команду к выполнению. Пока такой подход не стал стандартом, организациям стоит особенно осторожно выдавать агентам права на запуск команд и установку пакетов.