Molte piccole imprese trattano il file robots.txt come verità assoluta: "ho consentito GPTBot, quindi sono visibile su ChatGPT". Una ricerca del luglio 2026 dimostra che questa ipotesi è sbagliata per una parte significativa dei siti.
L'AI Crawler Block Index di HasData ha misurato il comportamento reale dei crawler su 10.894 domini (9.746 siti della classifica Tranco più 1.148 testate giornalistiche). Risultato principale: il 39,5% delle regole "Disallow" per GPTBot nel robots.txt non viene mai realmente applicato — il sito dichiara il blocco, ma GPTBot lo scansiona comunque, perché il CDN o il firewall davanti al sito non è mai stato configurato in linea con quella politica.
Il problema si presenta anche al contrario
I siti che consentono esplicitamente i crawler IA nel robots.txt possono comunque essere respinti silenziosamente al bordo della rete: una regola di gestione bot del CDN, una pagina di verifica del WAF o un interruttore generico "blocca bot IA" agiscono prima che il robots.txt venga letto. Secondo HasData, l'applicazione varia a seconda del provider: Fastly tende a bloccare direttamente, Cloudflare mostra una pagina di verifica, CloudFront generalmente lascia passare il traffico — la stessa politica dichiarata produce tre risultati diversi.
Bloccare non garantisce nemmeno ciò che pensi
Lo studio ha testato anche l'ipotesi opposta: che bloccare protegga dalla citazione. Su 10 query di prova in Google AI Mode, HasData ha trovato 52 domini citati presenti anche nel proprio campione; 27 di questi 52 (51,9%) bloccavano almeno un crawler IA nel robots.txt — un tasso di blocco quasi tre volte superiore alla media del campione. Bloccare nel robots.txt non garantisce di restare fuori dalle citazioni di AI Mode.
Come verificarlo davvero, senza indovinare
- Controlla i log di accesso, non solo il robots.txt: cerca gli user-agent reali (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) e il codice di stato ricevuto.
- Invia una richiesta reale da un server esterno con lo user-agent di un crawler IA e osserva la risposta effettiva.
- Controlla direttamente la dashboard di gestione bot del tuo CDN — Cloudflare AI Crawl Control, regole Fastly o regole gestite del WAF.
- Ritesta dopo ogni modifica di CDN, hosting o plugin di sicurezza.