Если ваш сайт работает за Cloudflare — около 20% всех сайтов в мире — 15 сентября 2026 года произойдёт важное изменение, о котором большинство владельцев малого бизнеса ещё не знает.
1 июля 2026 года Cloudflare объявил об отказе от классического единого переключателя «Заблокировать все ИИ-боты» в пользу трёх независимых элементов управления: краулеры поиска (Search), обучения (Training) и агентов (Agent). Новые настройки по умолчанию вступают в силу 15 сентября. Для большинства сайтов это плавный переход. Но для особой группы — сайтов на Cloudflare с рекламой, активировавших старый переключатель — существует серьёзный риск: блокировка обучающих краулеров может также заблокировать Googlebot, Applebot и Bingbot. (Блог Cloudflare, 1 июля 2026)
Три типа краулеров
- Search: Индексируют сайт для появления в результатах поиска. Исторически — Googlebot, Bingbot, Applebot, с важным исключением (см. ниже).
- Training: Собирают контент для обучения ИИ-моделей. Не возвращают прямой ценности сайту.
- Agent: Получают контент в реальном времени для ответов ChatGPT, Perplexity и подобных сервисов. Это ваш прямой канал цитирования ИИ.
Проблема многоцелевых краулеров
Googlebot, Applebot и Bingbot не являются одноцелевыми краулерами. Они также собирают данные для ИИ-функций, что относит их к категории «многоцелевых» в новой системе. По правилам от 15 сентября, любой многоцелевой краулер обрабатывается по наиболее ограничительному применимому правилу. На страницах с рекламой блокировка Training может заблокировать Googlebot, даже если Search явно разрешён. (Search Engine Journal, июль 2026)
Три действия до 15 сентября
- Проверьте настройки Cloudflare. Перейдите в Security → Bots и изучите текущее состояние каждого элемента управления ИИ-краулерами. Если в 2025 году вы активировали «Block AI Bots» — это конфигурация с наибольшим риском.
- Сделайте осознанный выбор для каждой категории. Рекомендуемая настройка для большинства МСП: разрешить Search, разрешить Agent, заблокировать Training. Это сохраняет индексацию Google и канал цитирования ИИ, блокируя массовый сбор для обучения.
- Проверьте robots.txt. Если robots.txt блокирует GPTBot, PerplexityBot, ClaudeBot или Google-Extended, эти боты не получат доступа к сайту независимо от настроек Cloudflare.
Измерение GEO: краулеры Agent — ваш канал цитирования
Блокировка краулеров Agent отрезает ChatGPT, Perplexity и Google AI Mode от вашего контента. Учитывая, что трафик из ChatGPT конвертируется в ~9 раз лучше органического трафика Google, случайная блокировка этого канала — не нейтральный выбор, а закрытие наиболее ценного источника посетителей.