如果你的網站部署在Cloudflare之後——全球大約20%的網站都是如此——那麼有件重要的事在2026年9月15日生效，但絕大多數小企業主至今還沒聽說過。
2026年7月1日，Cloudflare宣布淘汰沿用多年的單一「封鎖AI機器人」總開關，改為三類獨立控制：搜尋型爬蟲（Search）、代理型爬蟲（Agent）和訓練型爬蟲（Training）。新預設規則於9月15日正式執行。對大多數站點而言，這是一次平穩過渡。但對於一類特定站點——部署在Cloudflare上、帶有廣告變現、且曾啟用舊版「封鎖AI機器人」開關的網站——這次更新暗藏嚴重風險：在新規則下封鎖訓練類爬蟲，可能同時封鎖Googlebot、Applebot和Bingbot。（Cloudflare官方部落格，2026年7月1日）
三類爬蟲各是什麼
- 搜尋爬蟲（Search）：抓取你的網站以使其出現在搜尋結果中。Googlebot、Bingbot、Applebot歷來屬於這一類——但後文說明一個重要例外。
- 訓練爬蟲（Training）：批量抓取內容用於訓練AI大型語言模型，如CCBot等，內容被用於資料集建設。
- 代理爬蟲（Agent）：在使用者實際提問時即時抓取內容，驅動ChatGPT、Perplexity等AI助理的即時回答。這類爬蟲是你被AI引用的直接管道。
多用途爬蟲的致命陷阱
Googlebot、Applebot和Bingbot並不是單一用途的爬蟲。它們既為搜尋索引抓取內容，也為各自的AI相關業務取得資料，在Cloudflare的新分類中落入「混合用途（multi-purpose）」區間。
根據9月15日起生效的規則，任何具有多重用途的爬蟲，將按最嚴格的適用規則執行。具體後果是：在啟用廣告變現的頁面上，如果你封鎖了Training類爬蟲，Google和Bing的混合爬蟲也可能被連帶封鎖——即便你明確允許了Search類爬蟲。（Search Engine Journal，2026年7月）
誰最容易中招
- 網站部署在Cloudflare（免費或付費方案）
- 網站上有廣告變現（展示廣告、聯盟行銷連結或贊助內容）
- 2025年曾啟用過舊版「封鎖AI機器人」一鍵開關
- 9月15日之後在Cloudflare上新註冊的網域
9月15日前必須完成的三件事
- 檢查Cloudflare設定。登入Cloudflare控制台，進入Security → Bots，找到AI爬蟲控制區域，核實各類開關狀態。如果你2025年曾啟用舊版「封鎖AI機器人」開關，這是風險最高的配置，必須優先檢查。
- 為每類爬蟲做出明確選擇。對大多數聚焦搜尋排名和AI引用的小企業，推薦配置：允許Search、允許Agent、封鎖Training。確保9月15日後你的設定與這一意圖一致。
- 檢查robots.txt中的AI爬蟲權限。如果robots.txt封鎖了GPTBot、PerplexityBot、ClaudeBot或Google-Extended，無論Cloudflare怎麼設定這些爬蟲都進不來。核實主要AI爬蟲在robots.txt中是允許的。
GEO維度：代理爬蟲是你被AI引用的管道
代理爬蟲驅動ChatGPT實時搜尋、Perplexity回答和Google AI Mode。如果你封鎖了代理爬蟲，相當於切斷了AI工具在使用者提問時發現和引用你企業的通道。考慮到AI引薦流量的轉化率是Google自然搜尋的近9倍，無意中封鎖代理爬蟲，就是在主動關閉當前價值最高的流量入口。