웹사이트가 Cloudflare 뒤에서 운영되고 있다면 — 전 세계 웹사이트의 약 20%가 그렇습니다 — 2026년 9월 15일에 중요한 변경이 적용됩니다. 대부분의 중소기업 사업주는 아직 이 사실을 모르고 있습니다.
2026년 7월 1일, Cloudflare는 기존의 단일 'AI 봇 차단' 스위치를 세 가지 독립 제어인 검색(Search), 훈련(Training), 에이전트(Agent) 크롤러로 교체한다고 발표했습니다. 새로운 기본 설정은 9월 15일에 발효됩니다. 대부분의 사이트에는 원활한 전환이지만, 특정 그룹 — 광고를 표시하고 기존 '모든 AI 봇 차단' 스위치를 활성화했던 Cloudflare 사이트 — 에는 심각한 위험이 있습니다: 훈련 크롤러 차단 시 Googlebot, Applebot, Bingbot도 함께 차단될 수 있습니다. (Cloudflare 블로그, 2026년 7월 1일)
세 가지 크롤러 유형
- Search: 검색 결과에 사이트가 표시되도록 인덱싱하는 봇. Googlebot, Bingbot, Applebot이 여기 속하지만, 중요한 예외가 있습니다.
- Training: AI 언어 모델 훈련을 위해 콘텐츠를 대량 수집하는 봇. 사이트에 직접적인 가치를 돌려주지 않습니다.
- Agent: ChatGPT, Perplexity 등의 AI 어시스턴트가 실시간으로 질문에 답할 때 콘텐츠를 가져오는 봇. 여러분의 AI 인용 채널입니다.
다중 목적 크롤러 문제
Googlebot, Applebot, Bingbot은 단일 목적 크롤러가 아닙니다. 검색 인덱싱 외에도 AI 관련 데이터를 수집하기 때문에 새 시스템의 '혼합 목적' 카테고리에 해당합니다. 9월 15일 규칙에 따르면, 다중 목적 크롤러는 적용 가능한 가장 엄격한 규칙을 따릅니다. 광고가 있는 페이지에서 Training을 차단하면 Search를 명시적으로 허용했더라도 Googlebot이 차단될 수 있습니다. (Search Engine Journal, 2026년 7월)
9월 15일 전 필수 점검 3가지
- Cloudflare 설정 확인. Security → Bots에서 AI 크롤러 각 컨트롤의 현재 상태를 확인하세요. 2025년에 'AI 봇 차단'을 활성화했다면 최우선 점검 대상입니다.
- 각 범주별 의도적 선택. 대부분의 중소기업에 권장하는 설정: Search 허용, Agent 허용, Training 차단. 이렇게 하면 Google 인덱싱과 AI 인용 채널을 유지하면서 대량 훈련 수집은 차단합니다.
- robots.txt 확인. robots.txt가 GPTBot, PerplexityBot, ClaudeBot 또는 Google-Extended를 차단한다면, Cloudflare 설정과 무관하게 해당 봇은 사이트에 접근할 수 없습니다.
GEO 관점: Agent 크롤러는 AI 인용 채널
Agent 크롤러를 차단하면 ChatGPT, Perplexity, Google AI Mode가 여러분의 콘텐츠를 찾아 인용하는 경로가 끊깁니다. ChatGPT 트래픽의 전환율이 Google 자연 검색의 약 9배라는 점을 고려하면, 이 채널을 실수로 차단하는 것은 가장 가치 있는 트래픽 입구를 닫는 것과 같습니다.