Generatore robots.txt: a cosa serve
Un file robots.txt sono quattro righe di testo capaci di deindicizzare per errore un intero sito, motivo per cui generarlo con attenzione batte sempre il copiarlo da un forum. Questo strumento costruisce il file partendo da poche scelte e spiega cosa fa davvero ogni direttiva — inclusa l'unica cosa che robots.txt non può fare.
Generatore robots.txt: come si usa
- Scegli se permettere di default la scansione a tutti i crawler.
- Aggiungi i percorsi da bloccare, come l'area admin o la ricerca interna.
- Aggiungi regole per user agent specifici se devi trattarli in modo diverso.
- Aggiungi la URL della tua sitemap, poi copia il file nella root del sito.
Domande frequenti
Robots.txt tiene una pagina fuori da Google?
No, ed è il fraintendimento più dannoso al riguardo. Blocca la scansione, non l'indicizzazione: una URL bloccata ma con link in entrata può comunque comparire nei risultati, senza snippet. Per impedire l'indicizzazione usa un meta tag noindex.
Dove deve trovarsi il file?
Nella root del dominio, esattamente su /robots.txt. I crawler non lo cercano da nessun'altra parte, e si applica separatamente per protocollo, sottodominio e porta.
Cosa succede se blocco tutto?
I crawler smettono di scaricare le tue pagine, quelle già indicizzate decadono gradualmente dall'indice e il traffico organico crolla. Un "Disallow: /" dimenticato dall'ambiente di staging è un incidente più comune di quanto sembri.
Devo bloccare CSS e JavaScript?
No. Google renderizza le pagine per valutarle, quindi bloccare questi asset gli fa vedere un layout rotto e può penalizzare il giudizio sulla pagina, soprattutto su mobile.