Robots.txt generator: waar dit voor dient
Een robots.txt is een paar regels tekst die per ongeluk een hele site kunnen deïndexeren, dus is het slim om het zorgvuldig te genereren in plaats van er een van een forum te kopiëren. Deze tool bouwt het bestand op basis van een paar keuzes en waarschuwt voor de ernstigste fout die je ermee kunt maken.
Robots.txt generator: hoe het werkt
- Kies of je alle zoekmachines toestaat te crawlen.
- Voeg de paden toe die je wilt blokkeren, zoals het beheerpaneel of de interne zoekfunctie.
- Zet desgewenst de blokkade van AI-trainingscrawlers aan.
- Voeg de URL van je sitemap toe en kopieer het bestand naar de root van je domein.
Veelgestelde vragen
Voorkomt robots.txt dat een pagina in Google verschijnt?
Nee, en dat is het meest schadelijke misverstand erover. Het blokkeert crawlen, niet indexeren: een geblokkeerde URL die links ontvangt, kan zonder beschrijving toch in de resultaten verschijnen. Gebruik een noindex-metatag om indexering te voorkomen.
Waar moet het bestand staan?
In de root van het domein, precies op /robots.txt. Crawlers zoeken nergens anders, en het geldt apart per protocol, subdomein en poort.
Wat gebeurt er als ik alles blokkeer?
Crawlers stoppen met het bezoeken van je pagina's, al geïndexeerde pagina's verdwijnen geleidelijk en het organische verkeer stort in. Een vergeten "Disallow: /" uit de testomgeving is een vaker voorkomende oorzaak van verkeersverlies dan je zou denken.
Moet ik CSS en JavaScript blokkeren?
Nee. Google rendert pagina's om ze te beoordelen, dus als je die bestanden blokkeert, ziet het een kapotte lay-out en kan het de pagina slechter beoordelen, vooral op mobiel.