Статьи по тегу «AI-краулеры»
22 октября 2026, 14:20
Гари Ильес: robots.txt запрещает только краулинг, но не использование контента для обучения ИИ
Последние два года у владельцев сайтов сложилась коллективная привычка: дописать в robots.txt Disallow для GPTBot, CCBot и прочих AI-краулеров — и считать, что контент от ИИ закрыт. Гари Ильес из Goog
17 сентября 2026, 00:09
Cloudflare позволит блочить обучающих ИИ-ботов?
Буду первым, кто не просто перепостит новость про апдейт Cloudflare, а ещё и по существу прокомментирует, почему тема разделения ботов на поисковых и обучающих так важна для владельцев сайтов. Что пок