Почему Pay-Per-Crawl Cloudflare обречён

Когда Cloudflare анонсировал свою новую систему Pay-Per-Crawl, казалось, что нашли способ справедливо платить за использование контента: искусственный интеллект должен компенсировать владельцам сайтов обучение на их данных. Для владельцев контента и инженеров ИИ эта идея выглядела многообещающе. Но, как показывает опыт компаний, сталкивающихся с судебными исками за автоматический сбор данных, эта схема обречена.

Например, Caseway, компания по юридическим ИИ-сервисам, была засужена канадским сервисом CanLII за использование открытых судебных данных. Другие крупные игроки, такие как The New York Times, подали иски к OpenAI и Microsoft за растаскивание платных статей, а News Corp пошел в атаку на Perplexity за использование материалов Wall Street Journal. Жалуются даже такие ресурсы, как Reddit и GitHub, когда их социальные данные или открытый код используются без согласия. Причём масштаб этого явления огромен: большинство ИИ-моделей построены именно на сборе данных из интернета (scraping).

Cloudflare располагает технической мощностью: компания обеспечивает защиту четверти всех сайтов в мире. Поэтому именно она попыталась ввести плату за каждое обращение бота (платный обход страниц). Идея проста — блокировать по умолчанию ИИ-сканеры и пускать их только за деньги. Теоретически это поощряет честные отношения между ИИ-компаниями и авторами.

Однако есть три очевидные проблемы. Во-первых, система считает каждую страницу одинаковой. Журналистское расследование, на которое ушло полгода, и протокол судебного заседания, публично размещённый — для Cloudflare это одна единица оплаты. Компании, вложившие миллионы в контент, не согласятся с такой уравниловкой — уж тем более когда части их материалов и так доступны в огромных бесплатных базах, вроде Common Crawl. Например, 67% обучающих данных Meta LLaMA-1 получено именно оттуда, без уплаты кому-либо.

Во-вторых, эта модель выглядит разумной только для "честных" компаний, готовых платить. Массовые обходы сайтов неизвестными ботами никуда не денутся: злоумышленники легко обойдут любые технические запреты с помощью подмены IP, серых прокси и прочих трюков. Судиться с компаниями из других стран за нарушения авторских прав в сети, скорее всего, бесполезно.

И, наконец, ставка на "добрую волю" крупных ИИ-компаний — наивна: как показала практика, даже официальные боты OpenAI продолжают сканировать сайты десятки тысяч раз несмотря на прямые запреты.

Реальная проблема в другом: авторам необходимы чёткие юридические правила, коллективная защита и настоящие рычаги давления, а не такие технические полумеры. Некоторые стартапы уже разрабатывают инструменты, чтобы выявлять ИИ-ботов и фильтровать для них выдачу контента автоматически.

Pay-Per-Crawl — по-своему интересная инициатива первой попытки "поставить счётчик" на контент. Однако всё упирается в старый вопрос — борьбу за ресурсы и власть. И эта борьба только начинается.