Générateur de robots.txt : à quoi ça sert
Un robots.txt tient en quelques lignes capables de désindexer un site entier par accident : mieux vaut le générer soigneusement que le copier sur un forum. Cet outil construit le fichier à partir de quelques choix et rappelle la seule chose que robots.txt ne sait pas faire.
Générateur de robots.txt : mode d’emploi
- Choisissez si tous les moteurs peuvent explorer le site.
- Ajoutez les chemins à bloquer, comme l’administration ou la recherche interne.
- Activez si vous le souhaitez le blocage des robots d’entraînement d’IA.
- Ajoutez l’URL de votre sitemap et copiez le fichier à la racine du domaine.
Questions fréquentes
Le robots.txt empêche-t-il une page d’apparaître sur Google ?
Non, et c’est le malentendu le plus dommageable. Il bloque l’exploration, pas l’indexation : une URL bloquée qui reçoit des liens peut toujours apparaître dans les résultats, sans description. Pour empêcher l’indexation, utilisez la balise meta noindex.
Où doit se trouver le fichier ?
À la racine du domaine, exactement à /robots.txt. Les robots ne le cherchent nulle part ailleurs, et il s’applique séparément à chaque protocole, sous-domaine et port.
Que se passe-t-il si je bloque tout ?
Les robots cessent de visiter vos pages, celles déjà indexées disparaissent progressivement et le trafic organique s’effondre. Un « Disallow: / » oublié depuis la préproduction est une panne bien plus courante qu’on ne le croit.
Faut-il bloquer le CSS et le JavaScript ?
Non. Google affiche les pages pour les évaluer : bloquer ces fichiers lui fait voir une mise en page cassée et peut dégrader son appréciation, surtout sur mobile.