Générateur de robots.txt en ligne

Un robots.txt tient en quelques lignes capables de désindexer un site entier par accident : mieux vaut le générer soigneusement que le copier sur un forum. Cet outil construit le fichier à partir de quelques choix et rappelle la seule chose que robots.txt ne sait pas faire.

Générateur de robots.txt : mode d’emploi

1. Choisissez si tous les moteurs peuvent explorer le site.
2. Ajoutez les chemins à bloquer, comme l’administration ou la recherche interne.
3. Activez si vous le souhaitez le blocage des robots d’entraînement d’IA.
4. Ajoutez l’URL de votre sitemap et copiez le fichier à la racine du domaine.

Questions fréquentes

Le robots.txt empêche-t-il une page d’apparaître sur Google ?

Non, et c’est le malentendu le plus dommageable. Il bloque l’exploration, pas l’indexation : une URL bloquée qui reçoit des liens peut toujours apparaître dans les résultats, sans description. Pour empêcher l’indexation, utilisez la balise meta noindex.

Où doit se trouver le fichier ?

À la racine du domaine, exactement à /robots.txt. Les robots ne le cherchent nulle part ailleurs, et il s’applique séparément à chaque protocole, sous-domaine et port.

Que se passe-t-il si je bloque tout ?

Les robots cessent de visiter vos pages, celles déjà indexées disparaissent progressivement et le trafic organique s’effondre. Un « Disallow: / » oublié depuis la préproduction est une panne bien plus courante qu’on ne le croit.

Faut-il bloquer le CSS et le JavaScript ?

Non. Google affiche les pages pour les évaluer : bloquer ces fichiers lui fait voir une mise en page cassée et peut dégrader son appréciation, surtout sur mobile.

Formateur JSON · Encodeur Base64 · Encodeur d’URL · Décodeur JWT · Voir tous les outils

Également disponible en : English · Español · Português · Deutsch