3 июня 2026 года сооснователь и генеральный директор Cloudflare Мэттью Принс поделился цифрой, которая стала настоящим переломным моментом для интернета: автоматические запросы — боты, скрейперы и ИИ-агенты — теперь составляют 57,5% всего HTTP-трафика на сайтах, защищённых Cloudflare, против 42,5% реального человеческого трафика. Впервые с момента появления веба машины посещают больше страниц, чем люди.
Всего за три месяца до этого, на SXSW, Принс говорил, что такой перелом ожидается не раньше 2027 года. Он произошёл более чем на год раньше — и причина важнее самого факта.
Почему всё изменилось так быстро
Этот всплеск вызван не классическими поисковыми роботами, а агентным ИИ — помощниками вроде ChatGPT и Gemini, которые в реальном времени просматривают веб от имени пользователя, чтобы ответить на один вопрос. ИИ-агент может загрузить сотни страниц за секунды, чтобы собрать один ответ. Умножьте это на сотни миллионов еженедельных пользователей ИИ — и цифры взлетают.
Важный нюанс: сканирование не равно упоминанию
Это важно, если вы видите рост ботов в логах своего сервера: быть просканированным и быть упомянутым — разные вещи. Анализ соотношения «сканирование к переходам» за 2026 год показывает, что разрыв остаётся большим для роботов, созданных для обучения моделей, а не для генерации ответов с цитированием источников — хотя за последние 18 месяцев этот разрыв сократился. Рост бот-трафика на вашем сайте сам по себе не говорит о росте видимости в ИИ.
Ответ Cloudflare: Pay Per Crawl
В ответ на этот дисбаланс Cloudflare запустила функцию Pay Per Crawl: владельцы сайтов могут взимать плату с ИИ-роботов за доступ через HTTP-код состояния \"402 Payment Required\", при этом Cloudflare выступает посредником по платежам. Теперь сайт можно настроить так, чтобы полностью блокировать ИИ-ботов, разрешать их бесплатно или брать плату за каждый визит.
Большинству малых компаний не нужно монетизировать трафик роботов. Но появление такой настройки — напоминание о том, что доступ ботов к вашему сайту — это настройка, которой вы управляете, а не значение по умолчанию, которое можно игнорировать.
4 действия на эту неделю
- Проверьте robots.txt и настройки управления ботами в Cloudflare или у хостинга. Убедитесь, что GPTBot, ClaudeBot, PerplexityBot и Google-Extended явно разрешены, если для вас важна видимость в ИИ-цитировании — проверьте, даже если вы никогда не трогали эти настройки.
- Не считайте рост бот-трафика успехом. Скачок посещений роботов в аналитике означает, что контент был загружен, а не то, что бренд упомянули. Отслеживайте реальные упоминания с помощью специализированного инструмента мониторинга ИИ-цитирования.
- Не гонитесь за доходом от pay-per-crawl. Если у вас не контентный или дата-бизнес с высоким трафиком, ценность платы с роботов незначительна по сравнению с ценностью реального клиента.
- Проверяйте это раз в квартал. Настройки управления ботами по умолчанию могут незаметно измениться при обновлении платформы.
Заголовок впечатляет — боты впервые обогнали людей в сети — но действие для ресторана во Флашинге или юридической фирмы в Мидтауне простое: убедитесь, что нужные вам ИИ-роботы действительно могут попасть на ваш сайт. Команда GEO Apex Zone может проверить текущие настройки доступа ботов на вашем сайте.