Следите за новостями по этой теме!
Подписаться на «Гик Гайд (3 апельсина) / Цифра сегодня»
OpenAI, Google, Microsoft и Anthropic поддержали общий сигнал отказа от использования содержимого сайтов для обучения ИИ-моделей. Его предлагают размещать в файле robots.txt — текстовом файле в корневой папке сайта, где владелец указывает, как автоматизированным программам следует обращаться с его страницами. Файл может направлять поисковых роботов и помогать снизить нагрузку на сервер.
Интернет хранит огромный массив знаний, созданных и собранных людьми. ИИ-компании регулярно сканируют сайты, чтобы собирать материалы для обучения моделей. Это вызывает опасения: контент могут использовать без согласия владельцев, а сами ИИ-сервисы способны стать для пользователей главным способом получать информацию.
Запрет в robots.txt — один из способов ограничить сбор данных. Владелец может добавить правила, указывающие, каким ботам запрещён доступ или использование страниц. Однако такой сигнал работает только в отношении роботов, которые соблюдают инструкции: недобросовестные скрейперы могут его проигнорировать. OpenAI призвала другие ИИ-компании поддержать этот подход.
Одного способа защиты может быть недостаточно. Разные меры лучше сочетать, как слои защиты: у каждой есть слабые места, и некоторые боты всё равно способны их обходить.
Другой вариант — требовать от посетителей регистрации, как планирует делать Reddit для ограничения доступа ИИ-ботов. Аккаунты часто подтверждают по электронной почте или номеру телефона, что затрудняет автоматический доступ. Но у такого решения есть цена: пользователям проще закрыть страницу, чем создавать учётную запись, а регистрация вынуждает передавать личные данные. Открытый доступ, напротив, помогает людям находить нужную информацию без лишних препятствий. Если владельцу важен трафик, вводить обязательный вход следует осторожно.
Можно также ограничивать частоту запросов с одного IP-адреса — уникального сетевого адреса, с которого устройство обращается к сайту. Сторонние сервисы позволяют установить лимиты, например разрешить не более пяти запросов за десять секунд с одного адреса. Это помогает защитить сервер от шквала обращений и может быть платной услугой. Но скрейперы способны менять IP-адреса, обходя ограничения для каждого отдельного адреса.
Ещё один инструмент — CAPTCHA, проверка, при которой посетителю предлагают распознать изображения или собрать фрагмент головоломки. Она может отсечь часть скрейперов и менее совершенных ИИ-ботов, однако современные модели уже учатся решать такие задания. Кроме того, сложная проверка раздражает людей и может заставить их уйти. Некоторые пользователи опасаются атак ClickFix — схем, в которых человека обманом побуждают выполнить действия, способные поставить под угрозу его устройство; подозрительная CAPTCHA может усилить эти опасения.
Все перечисленные меры — компромисс. Они способны затруднить сбор материалов ботами, но одновременно ухудшить доступ к сайту для настоящих посетителей. Поэтому защиту стоит настраивать так, чтобы закрывать автоматизированный трафик, не превращая обычный просмотр страниц в полосу препятствий.
Интернет долго изображали общей библиотекой: знания лежат на полках, любой может найти нужную страницу, а хозяин сайта лишь поддерживает порядок. Затем появились компании, которым для обучения моделей понадобились почти все книги сразу. И выяснилось, что у метафоры библиотеки есть маленькая неприятность: кто-то оцифровывает её содержимое, а авторов и владельцев страниц спрашивает уже постфактум — если вообще спрашивает.
Теперь индустрия предлагает знак «не брать» в robots.txt. Это разумный шаг, но примерно такой же надёжный, как просьба к незваному гостю не открывать холодильник. Добросовестные роботы прочитают инструкцию; остальные могут решить, что правила написаны для кого-то другого. Компаниям удобно поддержать общий сигнал: это показывает готовность к саморегулированию и почти не мешает тем, кто не собирается подчиняться.
Дальше начинается привычный торг между владельцем сайта и его аудиторией. Можно поставить регистрацию, но тогда читателю предлагают обменять внимание на адрес электронной почты или номер телефона. Платформе это даёт дополнительный барьер и данные об аккаунтах, посетителю — ещё одну форму, которую он не просил. Если он уйдёт, победит не обязательно защита контента: иногда просто проигрывает сам сайт.
Лимиты запросов звучат технически нейтрально, пока не выясняется, что аккуратные правила для одного IP бессильны против ботов, которые меняют адреса. CAPTCHA добавляет ещё один ритуал: человек доказывает, что он человек, машине, которая учится проходить тот же тест. А если проверка выглядит подозрительно, посетитель может принять её за ловушку — особенно на фоне ClickFix-мошенничества.
За всеми этими решениями стоит не столько техническая задача, сколько вопрос о власти над доступом. ИИ-компании хотят большие массивы данных, сайты — контроль над своим содержимым, а читатели — получить ответ без регистрации, допроса и проверки на велосипеды. У каждого участника есть убедительное объяснение, почему именно его удобство должно стоять первым.
В итоге защиту продают как набор слоёв, хотя каждый слой одновременно работает и как шлагбаум для людей. Слишком мягкая политика облегчает сбор материалов, слишком жёсткая — превращает открытый сайт в закрытый клуб. И где-то между этими крайностями владелец должен решить, что ему дороже: контроль над контентом или аудитория, которая ещё не успела устать от очередной формы входа.