robots.txt-Generator online

Eine robots.txt besteht aus wenigen Zeilen, die versehentlich eine ganze Website aus dem Index nehmen können – sie sorgfältig zu erzeugen ist besser, als eine aus einem Forum zu kopieren. Dieses Tool baut die Datei aus wenigen Angaben und erklärt die eine Sache, die robots.txt eben nicht leisten kann.

robots.txt-Generator: so funktioniert er

1. Legen Sie fest, ob alle Suchmaschinen die Seite crawlen dürfen.
2. Ergänzen Sie die Pfade, die gesperrt werden sollen, etwa Administration oder interne Suche.
3. Aktivieren Sie bei Bedarf die Sperre für KI-Trainings-Crawler.
4. Tragen Sie die URL Ihrer Sitemap ein und kopieren Sie die Datei in das Wurzelverzeichnis.

Häufige Fragen

Hält robots.txt eine Seite aus Google heraus?

Nein, und das ist das folgenreichste Missverständnis. Die Datei verhindert das Crawlen, nicht das Indexieren: Eine gesperrte URL mit eingehenden Links kann weiterhin ohne Beschreibung in den Ergebnissen auftauchen. Gegen Indexierung hilft nur das Meta-Tag noindex.

Wo muss die Datei liegen?

Im Wurzelverzeichnis der Domain, exakt unter /robots.txt. Crawler suchen nirgendwo sonst, und die Datei gilt getrennt für jedes Protokoll, jede Subdomain und jeden Port.

Was passiert, wenn ich alles sperre?

Crawler rufen Ihre Seiten nicht mehr ab, bereits indexierte Einträge verschwinden nach und nach, und der organische Traffic bricht weg. Ein aus der Testumgebung übernommenes „Disallow: /“ ist eine erstaunlich häufige Ursache.

Soll ich CSS und JavaScript sperren?

Nein. Google rendert Seiten zur Bewertung; sperren Sie diese Dateien, sieht die Suchmaschine ein zerbrochenes Layout und bewertet die Seite womöglich schlechter, besonders mobil.

JSON-Formatierer · Base64-Konverter · URL-Kodierer · JWT-Decoder · Alle Tools ansehen

Auch verfügbar auf: English · Español · Português · Français