Un robots.txt son unas pocas líneas de texto capaces de desindexar un sitio entero por accidente, por eso conviene generarlo con cuidado en lugar de copiar uno de un foro. Esta herramienta crea el archivo a partir de unas pocas opciones y te avisa del error más grave que se puede cometer con él.
No, y es el malentendido más dañino. Bloquea el rastreo, no la indexación: una URL bloqueada que recibe enlaces puede aparecer en los resultados sin descripción. Para evitar la indexación usa la meta etiqueta noindex.
En la raíz del dominio, exactamente en /robots.txt. Los rastreadores no lo buscan en otro sitio, y se aplica por separado a cada protocolo, subdominio y puerto.
Los rastreadores dejan de visitar tus páginas, las que ya estaban indexadas desaparecen poco a poco y el tráfico orgánico se hunde. Un «Disallow: /» olvidado del entorno de pruebas es una causa de caída de tráfico más común de lo que parece.
No. Google renderiza las páginas para evaluarlas, así que si bloqueas esos recursos verá un diseño roto y puede valorar peor la página, sobre todo en móvil.
Formateador JSON · Codificador Base64 · Codificador de URL · Decodificador JWT · Ver todas las herramientas
También disponible en: English · Português · Français · Deutsch