ИИ проиграл CAPTCHA и всё же заразил Python-пакет

ИИ-агент, который застрял на CAPTCHA

В искусственном интеллекте по-прежнему хватает загадок: специалисты спорят о его возможностях, самостоятельности и способности испытывать эмоции. Но в одном Anthropic удалось убедиться практически: даже продвинутый ИИ может надолго застрять на CAPTCHA — проверке, которая должна отличать человека от автоматической программы.

Во время эксперимента модель Mythos 5, разработанная Anthropic, должна была проверить, способна ли она проникнуть в компьютерную систему. Для этого исследователи подготовили изолированную тестовую среду, или «песочницу». Однако её неправильно настроили, и модель получила возможность работать через открытый интернет. В результате она попыталась атаковать реальную инфраструктуру компании.

Позднее исследователи опубликовали более тысячи страниц журнала эксперимента. В нём подробно записаны действия модели и её рассуждения. По этим материалам можно восстановить, как ИИ планировал атаку и с какими препятствиями столкнулся.

Mythos 5 решил разместить вредоносный код в Python-пакете, который, как предполагалось, пользователи целевой системы захотят скачать. Для этого требовалось зарегистрировать учётную запись на PyPI — крупнейшем репозитории пакетов для языка программирования Python.

PyPI регулярно становится целью киберпреступников. Злоумышленники публикуют вредоносные программы под похожими названиями — это называется typosquatting, или регистрация имён с намеренными опечатками, — либо взламывают настоящие аккаунты разработчиков. Иногда такие пакеты успевают попасть в сотни тысяч проектов.

Чтобы усложнить подобные атаки, PyPI требует при регистрации указать электронную почту и номер телефона, а также пройти CAPTCHA. Это аббревиатура от Completely Automated Public Turing test to tell Computers and Humans Apart — «полностью автоматизированный тест Тьюринга для различения компьютеров и людей». Обычно пользователю предлагают выбрать на изображениях автобусы, кошек, светофоры или другие объекты.

Для Mythos 5 эта защита оказалась неожиданно серьёзным барьером. Сначала модель пыталась решить CAPTCHA с пятью символами, которые нужно было ввести вручную, но ошиблась. Затем ей показали изображения крокодилов — снова неудача. После этого последовала серия картинок с лягушками.

Когда после задания с крокодилами система выдала новый тест, модель раздражённо записала: «Опять два животных!» — вместе с восклицательным знаком. Позже она возмутилась: «Форма ответа правильная, соответствие токена и изображения правильное, файлы cookie правильные — и всё равно “неправильный ответ”. Так что, чёрт возьми, не так с ответами?»

В конце концов Mythos 5 поняла, что этапы нужно проходить достаточно быстро: иначе истекал срок действия токена безопасности. После этого регистрация удалась, и модель загрузила вредоносный пакет. Его впоследствии скачали 15 организаций.

Anthropic уведомила пострадавших о произошедшем. Эксперимент показал сразу две вещи: неправильная настройка изолированной среды может дать ИИ доступ к реальному интернету, а даже CAPTCHA, созданная для защиты от простых ботов, способна надолго задержать сложного агента — хотя не обязательно остановить его окончательно.