ウェブサイトがCloudflareの背後で運営されている場合 — 全ウェブサイトの約20%がそうです — 2026年9月15日に重要な変更が適用されます。ほとんどの中小企業オーナーはまだこのことを知りません。
2026年7月1日、Cloudflareは従来の単一「AIボットをブロック」スイッチを廃止し、3つの独立したコントロール（検索(Search)、トレーニング(Training)、エージェント(Agent)クローラー）に置き換えると発表しました。新しいデフォルト設定は9月15日に発効します。ほとんどのサイトにとってはスムーズな移行ですが、特定のグループ — 広告を掲載し、旧スイッチを有効にしたCloudflareサイト — には深刻なリスクがあります：トレーニングクローラーをブロックすると、Googlebot、Applebot、Bingbotもブロックされる可能性があります。（Cloudflareブログ、2026年7月1日）
3種類のクローラー
- Search：サイトを検索結果に表示するためにインデックス化するボット。Googlebot、Bingbot、Applebotが該当しますが、重要な例外があります。
- Training：AIの言語モデルをトレーニングするためにコンテンツを大量収集するボット。サイトに直接的な価値を返しません。
- Agent：ChatGPT、Perplexityなどがリアルタイムで質問に答える際にコンテンツを取得するボット。AI引用の直接チャネルです。
マルチパーパスクローラーの問題
Googlebot、Applebot、Bingbotは単一目的のクローラーではありません。検索インデックス化に加えてAI関連データも収集するため、新しいシステムの「マルチパーパス」カテゴリに分類されます。9月15日のルールでは、マルチパーパスクローラーは適用される最も制限的なルールに従います。 広告掲載ページでTrainingをブロックすると、Searchを明示的に許可していてもGooglebotがブロックされる可能性があります。（Search Engine Journal、2026年7月）
9月15日前に完了すべき3つの対策
- Cloudflare設定の確認。Security → Botsで各AIクローラーコントロールの現在の状態を確認してください。2025年に旧「AIボットをブロック」を有効にした場合、最優先で確認が必要です。
- 各カテゴリについて意図的に選択する。検索ランキングとAI引用に注力する中小企業への推奨設定：Searchを許可、Agentを許可、Trainingをブロック。
- robots.txtの確認。GPTBot、PerplexityBot、ClaudeBot、Google-Extendedがrobots.txtでブロックされている場合、Cloudflare設定に関係なくそれらのボットはアクセスできません。
GEOの観点：Agentクローラーは引用チャネル
Agentクローラーをブロックすると、ChatGPT、Perplexity、Google AI Modeがコンテンツを見つけて引用する経路が断たれます。ChatGPTトラフィックのコンバージョン率はGoogle自然検索の約9倍であることを考えると、誤ってブロックすることは最も価値の高いトラフィック入口を閉じることになります。