Cloudflare разрешила запретить AI training без потери поиска — но неправильный Block может ударить по SEO

Cloudflare разделила поиск, AI-агентов и обучение моделей

Для владельцев сайтов за Cloudflare появилось важное изменение, которое на первый взгляд выглядит как очередная настройка ботов, но на практике способно влиять и на SEO, и на то, попадает ли контент в наборы данных для обучения моделей. Cloudflare запустила отдельный режим Disallow AI Training: он позволяет заявить, что сайт не хочет отдавать контент для обучения AI, но при этом оставаться доступным для поисковой индексации там, где crawler поддерживает такое разделение.

Проблема возникает из-за так называемых mixed-use crawlers. Один и тот же бот может использоваться сразу для нескольких задач: например, строить поисковый индекс и одновременно собирать данные для обучения моделей. Раньше владелец сайта часто оказывался перед грубым выбором: разрешить такого бота целиком или заблокировать его вместе с полезной поисковой функцией.

Что именно изменилось 15 сентября

Cloudflare теперь оперирует тремя отдельными типами поведения: Search, Training и Agent. Search — индексация для поиска. Training — сбор контента для обучения или дообучения моделей. Agent — автоматизированный доступ от имени пользователя, например когда AI-агент открывает страницу, чтобы выполнить конкретную задачу.

Для Training появился вариант Disallow AI Training. Cloudflare через Bot Preference Sync публикует соответствующее no-training предпочтение в robots.txt. Для crawler’ов, которые Cloudflare считает «Accountable» и которые умеют разделять режимы своей работы, это означает: поисковый доступ может остаться разрешённым, а использование контента для обучения — нет.

Одновременно изменилось значение жёстких режимов Block и Block on pages with ads. Они теперь распространяются и на mixed-use crawler’ы. Если просто поставить Training = Block, это может затронуть бота, выполняющего ещё и поисковую функцию. Поэтому Cloudflare прямо рекомендует Disallow AI Training, когда цель — запретить обучение, но сохранить поисковую видимость.

Почему здесь легко случайно навредить SEO

Главный нюанс для администраторов сайтов — не путать «не хочу обучать AI на моём контенте» с «не хочу пускать этого crawler вообще». Если смешанный crawler одновременно работает для поиска и обучения, полная блокировка отрежет обе функции.

Cloudflare отдельно предупреждает: если владелец хочет полностью убрать mixed-use crawler, нужно выбрать Block — и тогда поисковая составляющая тоже исчезнет. В контексте Googlebot, Applebot или Bingbot это уже может иметь последствия для discoverability. Поддержка no-training сигналов у разных операторов также разворачивается не одновременно, поэтому сайтам стоит проверять актуальное поведение конкретного crawler’а, а не считать, что все поисковые системы работают одинаково.

Новые настройки по умолчанию для сайтов с рекламой

Для новых доменов Cloudflare рекомендует разные стартовые конфигурации в зависимости от монетизации. Если сайт зарабатывает на рекламе, Search остаётся разрешённым, Training получает Disallow AI Training, а Agent может блокироваться на страницах с рекламой. Логика проста: поиск способен привести человека на страницу, тогда как обучающий crawler или агент может забрать информацию без человеческого просмотра страницы.

Для сайтов без рекламной монетизации рекомендуемая стартовая политика мягче. Но это именно настройка по умолчанию, а не обязательное правило: владелец домена может изменить каждый из трёх режимов отдельно.

Что проверить владельцу сайта прямо сейчас

Если домен работает через Cloudflare, стоит открыть настройки Security и найти политики AI bots. Первое — проверить Search: если вам нужна индексация, он не должен оказаться случайно заблокирован. Второе — решить, разрешаете ли вы Training. Если нет, но поисковый трафик важен, режим Disallow AI Training логичнее полного Block. Третье — отдельно подумать об Agent traffic: для магазина, SaaS или документации AI-агенты могут быть полезными, но на страницах, живущих за счёт рекламы, они способны обходить сам механизм монетизации.

После изменения настроек полезно проверить robots.txt. Bot Preference Sync должен синхронизировать заявленные предпочтения с политиками Cloudflare, однако сложные кастомные WAF-правила или старые ручные записи могут создавать противоречия. Если robots.txt говорит одно, а edge rule блокирует другое, диагностика проблем с crawler’ами становится заметно сложнее.

Что это означает для веба в целом

Изменение интересно не только как функция Cloudflare. Веб постепенно уходит от бинарной модели «бот разрешён / бот запрещён» к модели, где владелец контента задаёт цель допустимого доступа. Один и тот же URL может быть открыт классическому поиску, закрыт для обучения и частично доступен агентам.

Для SEO это означает, что политика crawler’ов становится частью технической оптимизации сайта. Для издателей — это более точный контроль использования контента. Для AI-компаний — стимул прозрачнее объяснять, какой бот что делает. Пока стандарты ещё формируются, главный практический вывод простой: не ставить Block вслепую. Сначала нужно определить, что именно вы хотите запретить — поиск, обучение или агентный доступ.

↗