Um robots.txt são poucas linhas de texto capazes de desindexar um site inteiro por acidente, e por isso vale gerá-lo com cuidado em vez de copiar de um fórum. Esta ferramenta monta o arquivo a partir de algumas opções e avisa sobre o erro mais grave que se pode cometer com ele.
Não, e esse é o mal-entendido mais prejudicial. Ele bloqueia o rastreamento, não a indexação: uma URL bloqueada que recebe links ainda pode aparecer nos resultados, sem descrição. Para evitar a indexação, use a meta tag noindex.
Na raiz do domínio, exatamente em /robots.txt. Os rastreadores não procuram em outro lugar, e o arquivo vale separadamente para cada protocolo, subdomínio e porta.
Os rastreadores param de visitar suas páginas, as que já estavam indexadas somem aos poucos e o tráfego orgânico despenca. Um «Disallow: /» esquecido do ambiente de testes é uma causa de queda mais comum do que parece.
Não. O Google renderiza as páginas para avaliá-las, então bloquear esses arquivos faz com que ele veja um layout quebrado e possa avaliar a página pior, principalmente no celular.
Formatador JSON · Codificador Base64 · Codificador de URL · Decodificador JWT · Ver todas as ferramentas
Também disponível em: English · Español · Français · Deutsch