Многие малые предприятия считают файл robots.txt абсолютной истиной: «Я разрешил GPTBot — значит, меня видно в ChatGPT». Исследование июля 2026 года показывает, что это предположение неверно для значительной части сайтов.
AI Crawler Block Index от HasData измерил реальное поведение краулеров на 10 894 доменах (9 746 сайтов из рейтинга Tranco плюс 1 148 новостных изданий). Главный вывод: 39,5% правил «Disallow» для GPTBot в robots.txt никогда фактически не применяются — сайт декларирует блокировку, но GPTBot всё равно его обходит, потому что CDN или файрвол перед сайтом не настроены в соответствии с этой политикой.
Обратная проблема встречается не реже
Сайты, которые явно разрешают ИИ-краулеров в robots.txt, тоже могут получить тихий отказ на границе сети. Правило управления ботами в CDN, страница проверки WAF или общий переключатель «блокировать ИИ-ботов» в панели хостинга срабатывают до чтения robots.txt. По данным HasData, реализация различается у разных провайдеров: Fastly обычно жёстко блокирует, Cloudflare показывает страницу проверки, а CloudFront в основном пропускает трафик — одна и та же заявленная политика даёт три разных результата в зависимости от инфраструктуры.
Блокировка тоже не гарантирует того, что вы думаете
Исследование проверило и обратное предположение — что блокировка защищает от цитирования. В 10 тестовых запросах в Google AI Mode было найдено 52 цитируемых домена, входивших в выборку; 27 из 52 (51,9%) блокировали хотя бы одного ИИ-краулера в robots.txt — почти втрое выше доли блокировок по всей выборке. Блокировка в robots.txt не гарантирует исключения из цитат AI Mode.
Как проверить на самом деле, а не гадать
- Изучите логи доступа, а не только robots.txt: найдите реальные user-agent (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) и коды ответа, которые они получили.
- Отправьте настоящий запрос с внешнего сервера с user-agent ИИ-краулера и посмотрите на реальный ответ.
- Проверьте панель управления ботами вашего CDN напрямую — Cloudflare AI Crawl Control, правила Fastly или управляемые правила WAF.
- Перепроверяйте после каждого изменения CDN, хостинга или плагина безопасности.