Cloudflare поставит заслон AI-ботам

Cloudflare, одна из крупнейших компаний по обеспечению интернет-безопасности и ускорению доставки контента в мире, объявила, что начнет блокировать веб-сканеры, которые собирают данные для компаний, занимающихся искусственным интеллектом (AI). Такие сканеры ранее массово обходили по сети в поисках контента для того, чтобы "накормить" свои нейронные сети и генеративные модели. Теперь Cloudflare намерена поставить этому процессу фильтр: если боты будут определены как связанные с компаниями AI, они лишатся доступа к защищённым сайтам, использующим сервисы Cloudflare.

Многие AI-компании были замечены в массовом сборе информации с сайтов без явного разрешения — в этом их обвиняли авторы, медиа и даже разработчики других платформ. Cloudflare пообещала отделять легитимных сетевых роботов, необходимых для работы поиска или аналитики, от тех, кто собирает данные для коммерческого обучения ИИ. Пока неизвестно, каким именно способом определяется принадлежность сканера к AI-индустрии. В качестве примера Cloudflare упомянула, что сможет блокировать потенциально вредоносные и чрезмерно активные web-crawlers, если обнаружит их связь с генератором текстов или изображений.

В компании подчеркнули, что в эпоху роста генеративного искусственного интеллекта (например, ChatGPT и аналогичных сервисов) важно защищать права владельцев сайтов и предотвратить несанкционированный сбор контента. Это решение одобряют многие издатели, опасающиеся того, что их материалы могут быть использованы без компенсации, а также пользователи, которые не хотят, чтобы их личные публикации стали частью чужой базы знаний. Cloudflare позиционирует свою новую функцию как поддержку справедливого интернета, где владельцы ресурсов могут сами выбирать, как использовать их контент.