Cloudflare встал на защиту контента: соседей-роботов не ждали
Следите за новостями по этой теме!
Подписаться на «Культура TODAY / Зарубежная культура»
Cloudflare будет теперь блокировать AI-роботов по умолчанию
Основной поставщик интернет-архитектуры Cloudflare теперь будет блокировать известных AI-роботов по умолчанию, чтобы предотвратить их "доступ к контенту без разрешения или компенсации", согласно объявлению во вторник. С изменениями Cloudflare начнет спрашивать новых владельцев доменов, хотят ли они разрешить AI-скреперам доступ, а также предоставит некоторым издателям возможность установить плату за доступ.
Программа "Плата за обход" позволит издателям установить цену для AI-скреперов за доступ к их контенту. AI-компании смогут просматривать цены и выбирать, регистрироваться ли им для "Платы за обход" или отказаться. Это доступно только для "группы некоторых из ведущих издателей и создателей контента" на данный момент, но Cloudflare утверждает, что это обеспечит "AI-компаниям возможность использовать качественный контент правильно — с разрешением и компенсацией."
Cloudflare уже какое-то время помогает владельцам доменов бороться с AI-скреперами. Компания начала разрешать веб-сайтам блокировать AI-скреперов в 2023 году, но это касалось только тех, кто соблюдает файл robots.txt сайта — неисполняемое соглашение, сигнализирующее, могут ли боты извлекать его контент. Cloudflare начала разрешать веб-сайтам блокировать «всех» AI-ботов в прошлом году — независимо от того, соблюдают ли они файл robots.txt сайта или нет — и теперь эта настройка включена по умолчанию для новых клиентов Cloudflare. (Компания определяет скреперов для блокировки, сравнивая их со своим списком известных AI-ботов.) Cloudflare также представила функцию в марте, которая отправляет веб-скрепящие боты в «Лабиринт AI», чтобы отвлечь их от извлечения сайтов без разрешения.
Несколько крупных издателей и онлайн-платформ, включая Assoсiated Press, The Atlantic, Fortune, Stack Overflow и Quora, поддерживают новые ограничения Cloudflare для AI-скреперов, так как веб-сайты сталкиваются с будущим, где больше людей находят информацию через AI-чат-ботов, а не через поисковые системы. "Люди начали больше доверять AI за последние шесть месяцев, что означает, что они не читают оригинальный контент," - сказал генеральный директор Cloudflare Мэттью Принс на событии Axios Live на прошлой неделе.
Кроме того, Cloudflare утверждает, что работает с AI-компаниями, чтобы помочь проверить их скреперы и позволить им "четко сообщить о своей цели", например, используют ли они контент для обучения, вывода или поиска. Владельцы веб-сайтов могут затем просмотреть эту информацию и определить, каких скреперов впустить.
"Оригинальный контент делает Интернет одним из величайших изобретений прошлого века, и мы должны объединиться, чтобы его защитить," - сказал Принс в пресс-релизе. "AI-скреперы бесконечно извлекают контент. Наша цель — вернуть власть в руки создателей, помогая при этом AI-компаниям внедрять инновации."
Cloudflare решительно взялся за блокировку AI-роботов — новость, которая звучит как будто написана сценаристами фантастического фильма. Чёрт возьми, кто бы мог подумать, что интернет-архитектура вдруг решила встать на защиту авторских прав? Наверное, это звоночек из мира цифровых развлечений — ведь ничего так не поднимает популярность сервиса, как борьба с виртуальными злодеями.
Теперь, когда известные AI-скреперы будут заблокированы по умолчанию, у нас появляется новая платная программа, обещающая «безопасный доступ» к контенту. Плата за обход — название, которое не обещает быть громким, но, очевидно, привлекает внимаемые внимание любые заинтересованные стороны. Интересно, кто именно оплатит этот новшества? Неужели сами создатели контента, которые, конечно же, оказались в шоколаде благодаря своей неотъемлемой ценности?
Среди крупных издателей, вроде Associated Press и Fortune, вдруг появляется непреодолимое желание сдружиться с Cloudflare. Наверное, наступила эра добросердечных отношений между теми, кто создает оригинальный контент, и теми, кто этот контент крадет. И пока пользователи обнаруживают информацию через AI-чат-ботов, стал вопрос — кто скажет спасибо за дополнительную плату?
Кажется, генеральный директор Cloudflare, Мэттью Принс, обладает уникальным даром предвидеть, как будет обстоять дело с доверием к AI за шесть месяцев — видимо, это результат успешного сотрудничества с гороскопами. Он с гордостью рапортует о борьбе с извлекающими контент скреперами, поднимая в голове вопрос, действительно ли это забота о будущем интернет-пространства, или игра в защитников авторских прав с щепоткой маркетинга?
Интересно, какой ещё шаг предпримет Cloudflare в своем благородном порыве вернуть власть в руки создателей. Будут ли они выдавать специальные пропуска для AI-роботов, отправляя их обратно к предкам, если те не смогут донести до создателей, 'что им надо'? Сложно не заметить, что тут имеется некий элемент защиты интересов: типично крупный бизнес заботится не о благосостоянии контента, а о прибыльности самих технологий.
Так что, пожалуй, остается только ждать, когда Cloudflare запустит отдельный тариф для тех AI-компаний, которые захотят следовать правилам этого нового игрового поля. На дворе 21 век, а мы начинаем торговать доступом к контенту как в старые добрые времена - вот и прогресс.