Cloudflare, через инфраструктуру которой проходит около 20% мирового веб-трафика, объявила, что с 15 сентября 2026 года краулеры, собирающие данные для обучения ИИ, и боты ИИ-агентов будут блокироваться по умолчанию на всех страницах с рекламой. Под удар попадают и "гибридные" краулеры, которые совмещают некоторое количество функций сразу: если веб-сайт запрещает сбор данных для обучения, то Googlebot, Applebot и BingBot будут заблокированы целиком — даже там, где поисковые боты разрешены. По сути это ультиматум: Google и другим гигантам предлагают разделить своих ботов на отдельные — для поиска и для ИИ.

Технически это работает так: Cloudflare разделила всех ИИ-ботов на три категории — Search (поисковая индексация), Agent (ИИ-агенты, которые заходят на сайты вместо пользователя) и Training (сбор данных для обучения моделей). Владельцы сайтов, в том числе клиентов бесплатного тарифа, могут настраивать доступ для каждой категории отдельно. Новые настройки по умолчанию коснутся новых клиентов Cloudflare, новых сайтов существующих клиентов и всех бесплатных аккаунтов. Логика привязки к рекламе простая: баннер на странице — признак того, что она сделана для живых людей, а значит, ботам, перехватывающим человеческое внимание, там не место.

Главный адресат претензий — Google, хотя напрямую в блоге компанию называют "крупнейшим в мире поисковиком". Googlebot одновременно индексирует страницы для поиска и собирает данные для обучения ИИ, и сайты не решаются его блокировать из страха выпасть из выдачи. В результате, по оценке Cloudflare, у Google приблизительно вдвое больше данных для ИИ, чем у любого конкурента. Формально у Google есть отдельный алгоритм отказа от обучения — бот Google-Extended, но в Cloudflare считают его недостаточным.

Организация подкрепляет позицию цифрами: по данным Cloudflare Radar, боты уже генерируют 57,4% всего HTML-трафика в интернете. Одновременно старый "договор" — мы вас сканируем, вы получаете переходы — для ИИ не работает: если Google в 2025 году сканировал сайты 14 раз на один переход по ссылке, то у OpenAI соотношение составляло 1700 к одному, а у Anthropic — 73 000 к одному. Исследование Pew Research Center показало, что при появлении ИИ-сводки в выдаче Google пользователи кликают по обычным ссылкам только в 8% случаев — вдвое реже обычного.

Параллельно Cloudflare превращает запущенную год назад систему Pay Per Crawl в Pay Per Use: издателям будут платить не за факт сканирования их страниц, а за реальное использование контента — в частности, когда он появляется в ответе ИИ-поисковика. В компании объясняют, что краулинг оказался кривой метрикой ценности: страницу могут загрузить один раз, а потом процитировать в тысячах ответов — или качать бесконечно и ни разу не использовать. Первыми партнерами стали ИИ-поисковики Ceramic.ai и You.com, а для владельцев сайтов запущен дашборд Attribution Business Insights, показывающий, какие боты и как используют их контент.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.