Gerador de robots.txt: para que serve
Um robots.txt são poucas linhas de texto capazes de desindexar um site inteiro por acidente, e por isso vale gerá-lo com cuidado em vez de copiar de um fórum. Esta ferramenta monta o arquivo a partir de algumas opções e avisa sobre o erro mais grave que se pode cometer com ele.
Gerador de robots.txt: como usar
- Escolha se todos os buscadores podem rastrear o site.
- Adicione os caminhos que quer bloquear, como o painel administrativo ou a busca interna.
- Se quiser, ative o bloqueio dos robôs de treinamento de IA.
- Adicione a URL do seu sitemap e copie o arquivo para a raiz do domínio.
Perguntas frequentes
O robots.txt impede que uma página apareça no Google?
Não, e esse é o mal-entendido mais prejudicial. Ele bloqueia o rastreamento, não a indexação: uma URL bloqueada que recebe links ainda pode aparecer nos resultados, sem descrição. Para evitar a indexação, use a meta tag noindex.
Onde o arquivo precisa ficar?
Na raiz do domínio, exatamente em /robots.txt. Os rastreadores não procuram em outro lugar, e o arquivo vale separadamente para cada protocolo, subdomínio e porta.
O que acontece se eu bloquear tudo?
Os rastreadores param de visitar suas páginas, as que já estavam indexadas somem aos poucos e o tráfego orgânico despenca. Um «Disallow: /» esquecido do ambiente de testes é uma causa de queda mais comum do que parece.
Devo bloquear CSS e JavaScript?
Não. O Google renderiza as páginas para avaliá-las, então bloquear esses arquivos faz com que ele veja um layout quebrado e possa avaliar a página pior, principalmente no celular.