ИИ взломал Anthropic: 12 часов до корпоративных секретов

Американский ИИ-стартап Cathedral заявил, что его автономные ИИ-агенты менее чем за 12 часов проникли во внутренние системы Anthropic — компании, создавшей чат-бот Claude. В ходе атаки, проведённой в рамках программы поиска уязвимостей, исследователи получили доступ к конфиденциальным данным сотрудников и внутренней переписке. Anthropic подтвердила инцидент, но подчеркнула, что объём затронутых систем был ограниченным.

Cathedral основали бывшие участники DOGE — американской инициативы, созданной для сокращения государственных расходов и бюрократии, а также модернизации госуправления и технологий. Сейчас стартап занимается наступательной и защитной кибербезопасностью для американских военных и государственных ведомств. Среди основателей — бывший главный специалист Пентагона по данным Gavin Kliger, Luke Farritor, известный использованием машинного обучения для расшифровки древнеримских свитков, бывший сотрудник SpaceX Marko Elez и Jack Stein, который до DOGE работал инвестиционным банкиром в Salem Partners.

Anthropic проводит на платформе HackerOne двухчастную программу вознаграждений за найденные уязвимости. Первая часть посвящена техническим слабостям систем компании. Вторая, доступная только по приглашению, предлагает исследователям искать универсальные способы обхода защитных ограничений Claude — так называемые jailbreak-атаки.

По словам Cathedral, сначала специалисты компании несколько дней пытались проникнуть в системы вручную, но безуспешно. Затем они подключили ИИ-агентов: те нашли путь внутрь менее чем за 12 часов, воспользовавшись уязвимостями в стороннем корпоративном программном обеспечении. Иными словами, целью стал не сам Claude, а слабые места программных поставщиков, чьи продукты использовались внутри Anthropic.

После проникновения агенты получили доступ к расшифровкам встреч, сведениям о зарплатах и предложениях о работе, а также сообщениям в Slack. Переписки сотрудников с Claude, по имеющимся данным, раскрыты не были.

Anthropic сообщила, что были затронуты ограниченный набор систем продаж, кадровой службы и ИТ, а также контактные данные и базовые записи учётных записей некоторых клиентов и партнёров. Исходный код и веса ИИ-моделей — параметры, полученные в ходе обучения модели, — похищены не были. Компания заявила The Washington Post, что её системы мониторинга заметили часть активности Cathedral ещё до сообщения стартапа, а доступ был закрыт в тот же день.

По данным Gizmodo, Anthropic обвинила Cathedral в нарушении правил программы: стартап якобы не раскрыл полностью масштаб своей активности. Неясно, выплатит ли Anthropic вознаграждение за найденные уязвимости; публикация допускает, что спор может поставить выплату под вопрос.

Инцидент произошёл в чувствительный для Anthropic момент: компания готовится к первичному публичному размещению акций (IPO), а её оценка, согласно публикации, составляет 1,4 миллиарда долларов. Утечка данных — даже в результате работы исследователей, сообщивших о проблеме, — вряд ли помогает компании выглядеть надёжной перед потенциальными инвесторами.

В отчёте Cathedral, который цитирует The Washington Post, говорится, что уязвимости в обычных корпоративных программах способны поставить под угрозу инфраструктуру даже самых передовых организаций. Анонимный высокопоставленный представитель администрации Дональда Трампа, которого цитирует The Independent, заявил, что если это удалось небольшой недавно созданной компании, то потенциально подобные возможности могут быть и у Китая.

Эксперты по кибербезопасности отметили, что сам механизм атаки не уникален. Jacob Krell, старший директор по защищённым ИИ-решениям и кибербезопасности в Suzu Labs, заявил: если сторонние поставщики создают риск для компаний в целом, Anthropic не исключение. По его словам, уровень защиты организации ограничен самым слабым из подключённых поставщиков, и собственная инженерная команда не может полностью устранить этот риск.

Darin Fredde, старший директор по техническому маркетингу в Ridge Security, похвалил Anthropic за обнаружение части активности и оперативное ограничение доступа. Однако, подчеркнул он, реальный результат защиты подтверждается независимой проверкой того, что уязвимые пути закрыты. Установить исправление — ещё не то же самое, что доказать безопасность: иначе компания лишь закрывает входную дверь, надеясь, что никто не нашёл запасной ключ.