2026年6月3日，Cloudflare联合创始人兼CEO Matthew Prince公布了一个互联网历史上的首次：自动化请求（机器人、爬虫与AI代理）占其网络流量的57.5%，超过人类访问的42.5%。这是网络诞生以来，机器访问页面数首次超过真人。Prince三个月前曾在SXSW预测这一交叉点要到2027年才会出现——结果提前了一年多。
为什么来得这么快
这并非传统搜索引擎爬虫的常规抓取，而是代理式AI——例如ChatGPT、Gemini等助手为回答用户的一个问题，会在几秒内抓取数百个页面。乘以每周数亿AI用户，数字自然飙升。
被抓取≠被引用
2026年的抓取与引用比例分析显示，专为训练模型而非提供引用式回答的AI爬虫，抓取量远超其带来的真实访问量——尽管这一差距过去18个月有所收窄。流量日志中机器人访问量上升，并不代表您的品牌正在被AI更多引用。
Cloudflare的应对：按次付费抓取
Cloudflare推出\"Pay Per Crawl\"功能，允许网站主通过HTTP 402状态码对AI爬虫按次收费，由Cloudflare作为收款方。网站现在可以选择完全屏蔽、免费放行或按次收费AI机器人。
本周应做的事
- 检查robots.txt与Cloudflare机器人管理设置，确认GPTBot、ClaudeBot、PerplexityBot、Google-Extended未被误屏蔽——许多平台近期默认开启了\"屏蔽AI机器人\"。
- 不要把抓取量当作AI可见度的指标，应使用专门的AI引用监测工具追踪品牌是否真的被ChatGPT、Perplexity、AI Overviews提及。
- 普通中小企业无需追求按次收费抓取的收益，被引用并带来真实客户咨询的价值远高于此。
- 每季度复查一次，因为机器人管理默认设置常在平台更新中被静默修改。
机器人流量首超人类是个惊人的标题，但对法拉盛的餐馆或曼哈顿中城的律所而言，行动很简单：确保您想要的AI爬虫真的能访问您的网站。Apex Zone的GEO团队可以为您审核当前的机器人访问设置。