Generator robots.txt: do czego służy
Robots.txt to kilka linijek tekstu zdolnych przez przypadek wyrzucić całą witrynę z indeksu, dlatego lepiej stworzyć go ostrożnie niż skopiować z forum. To narzędzie tworzy plik na podstawie kilku opcji i ostrzega przed najpoważniejszym błędem, jaki można w nim popełnić.
Generator robots.txt: jak korzystać
- Wybierz, czy zezwalasz na indeksowanie wszystkim wyszukiwarkom.
- Dodaj ścieżki, które chcesz zablokować, jak panel administracyjny albo wewnętrzną wyszukiwarkę.
- Jeśli chcesz, włącz blokadę botów trenujących modele AI.
- Dodaj adres URL swojej mapy witryny i skopiuj plik do katalogu głównego domeny.
Najczęściej zadawane pytania
Czy robots.txt uniemożliwia pokazywanie się strony w Google?
Nie, i to najbardziej szkodliwe nieporozumienie. Blokuje indeksowanie treści, a nie samo umieszczenie w indeksie: zablokowany adres URL z linkami może pojawić się w wynikach bez opisu. Żeby uniknąć indeksowania, użyj meta tagu noindex.
Gdzie powinien znajdować się ten plik?
W katalogu głównym domeny, dokładnie pod adresem /robots.txt. Roboty nie szukają go nigdzie indziej, a plik obowiązuje osobno dla każdego protokołu, subdomeny i portu.
Co się stanie, jeśli zablokuję wszystko?
Roboty przestają odwiedzać twoje strony, te już zindeksowane stopniowo znikają, a ruch organiczny się załamuje. Zapomniana reguła „Disallow: /” ze środowiska testowego to częstsza przyczyna spadku ruchu, niż mogłoby się wydawać.
Czy powinienem blokować CSS i JavaScript?
Nie. Google renderuje strony, żeby je ocenić, więc jeśli zablokujesz te zasoby, zobaczy zepsuty układ i może ocenić stronę gorzej, zwłaszcza na urządzeniach mobilnych.