AI-ботам Perplexity мешает Cloudflare: цифровой «Том и Джерри» на наши глаза
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Cloudflare, ведущий мировой провайдер интернет-инфраструктуры, опубликовал доклад, обвинив стартап Perplexity AI в попытках обойти ограничения на доступ к некоторым сайтам. Речь идёт о так называемом "скрытом сканировании" (stealth crawling): когда Perplexity сталкивается с преградами для своих роботов, он будто бы меняет личину, чтобы незаметно обойти защиту сайтов.
Ранее компанию уже ловили на том, что она "питается" контентом без разрешения, пробираясь сквозь платные стены публикаций и игнорируя указания в файлах robots.txt — эти файлы как раз говорят ботам, что им можно или нельзя видеть на сайте. CEO Perplexity Аравинд Шринивас тогда заявил, что во всём виноваты сторонние краулеры (программы-сканеры), которые сайт привлёк для поиска информации.
В свежем отчёте Cloudflare утверждает: даже когда владельцы сайтов добавляли Perplexity в robots.txt и включали специальные фильтры защиты (Web Application Firewall), боты находили пути обхода. Сперва они честно сообщали, что они - PerplexityBot или Perplexity-User. Но если видели запрет — начинали притворяться браузером Google Chrome на Mac, а свои цифровые адреса (IP) регулярно меняли. Более того, Perplexity переключал автономные системные номера (ASN), что позволяло использовать новые группы IP-адресов для обхода блокировок.
Cloudflare отмечает: такая активность затронула десятки тысяч сайтов и миллионы запросов в день.
В ответ на обвинения, представитель Perplexity Джесси Двайер назвал доклад Cloudflare пиар-шумихой, отметив, что в нём "много недопониманий". Cloudflare уже исключила Perplexity из списка доверенных ботов и ввела новые способы блокировки их "невидимых визитов".
Глава Cloudflare Мэттью Принс давно предупреждает о риске для издателей из-за несанкционированного сбора данных искусственным интеллектом. В прошлом месяце компания разрешила сайтам требовать плату за сканирование их контента ИИ и начала по умолчанию блокировать такие ботов.
PEREC.RU
О, как трогательно: казалось бы, сеть создана для равного доступа, но как только кто-то начинает выкачивать контент миллионами — появляются ловкие ловчие вроде Cloudflare. Те, кто сидит в штабах Perplexity, конечно, будут изображать непонимание: мы тут просто ИИ тренируем, никто ничего не нарушает, никогда бы не посмели. Но почему-то их боты то честно называются, то надевают маски Chrome, то скачут по айпишникам так, словно участвуют в онлайн-версии "Форт Боярд". Обмануть всех не получилось: Cloudflare деловито ставит капканы, исключает их из списка приличных гостей, а заодно тихо поднимает ставки — мол, платить за вход теперь будете.
Маскарад ботов, которых ловят за руку, лишь пример: ИИ-революция идёт не в награду за честность, а под шум патчей дешёвых скриптов и пресс-релизов. Бойка, циничная борьба за чужой трафик — совсем не шоу про итальянское барокко: скорее драма про жадность, упрямство и вечную тягу к лазейкам. Все эти расследования и публичные скандалы не про прозрачность, а про контроль над денежным потоком. Ждать, что кто-то начнёт играть по правилам, — как надеяться, что в кино про суперагентов плохой парень вдруг отдаст награбленное с поцелуем в щёку жертве. Кликаем дальше, чешем затылки, строим фильтры и надеемся, что когда-нибудь разберёмся: кто же должен кормить всех этих цифровых прожорливцев.
