¿Qué es robots.txt?
Entiende robots.txt antes de que bloquee tu sitio en Google por accidente—o abra las puertas equivocadas a rastreadores.
- Sin registro
- Prueba de robots.txt gratis
- Resultados al instante
¿Qué es robots.txt? (Respuesta rápida)
- Un archivo de texto plano en tudominio.com/robots.txt
- Indica a los rastreadores qué rutas pueden o no solicitar
- Usa líneas User-agent, Allow, Disallow y Sitemap
- No protege páginas privadas—solo orienta a rastreadores educados
- Prueba el tuyo con el Probador de robots.txt
Vista previa del informe
Vista previa de puntuaciones de salud de rastreo, reglas arriesgadas y comprobaciones de sitemap para cualquier dominio.
Qué cubre una revisión de robots.txt
Una revisión de robots.txt comprueba cómo los rastreadores pueden acceder a tu sitio antes de desperdiciar presupuesto de rastreo o perder páginas clave.
-
Grupos user-agent y reglas comodín
Señal on-page revisada durante el análisis.
-
Patrones de rutas Allow y Disallow
Señal on-page revisada durante el análisis.
-
Declaraciones de sitemap
Señal on-page revisada durante el análisis.
-
Reglas que bloquean CSS, JS o secciones enteras
Señal on-page revisada durante el análisis.
-
Disallow: / de staging o accidental en producción
Señal on-page revisada durante el análisis.
Por qué robots.txt importa para SEO
- Disallow: / para todos Disallow: / para todos los user-agents bloquea el rastreo de todo tu sitio.
- Bloquear CSS o JS Bloquear CSS o JS puede impedir que Google renderice las páginas correctamente.
- Referencias Sitemap faltantes ralentizan Referencias Sitemap faltantes ralentizan el descubrimiento de contenido nuevo.
- Los rastreadores de IA Los rastreadores de IA respetan cada vez más robots.txt como política pública de acceso.
Elementos clave dentro de robots.txt
-
Agente de usuario
Identifica a qué rastreador aplica un grupo de reglas (* = todos los bots).
-
Permitir/No permitir
Define patrones de rutas que los bots pueden o no rastrear.
-
retraso de rastreo
Sugerencia opcional de frecuencia de peticiones (no soportada por Google).
-
Mapa del sitio
Indica a los rastreadores tu sitemap XML para indexar más rápido.
Errores comunes de robots.txt
-
Disallow: / en producción
Por qué perjudica Todo el sitio deja de ser rastreable—el tráfico orgánico se detiene.
Cómo solucionarlo Elimina reglas de staging antes del lanzamiento; prueba tras cada despliegue.
-
Bloquear recursos de renderizado
Por qué perjudica Google no puede ver la página como la ven los usuarios.
Cómo solucionarlo Permite rutas de CSS, JS e imágenes necesarias para el renderizado.
Mira cómo leen tu robots.txt los rastreadores
Introduce tu dominio y visualiza a qué pueden acceder los rastreadores.
- Obtener archivo en vivo
- Analizar reglas por bot
- Marcar patrones de riesgo
- Comprobación de sitemap
Preguntas frecuentes
¿Puede el archivo robots.txt bloquear mi sitio en Google?
Sí. Una directiva Disallow amplia puede impedir que Googlebot rastree URLs, lo que detiene nuevas indexaciones y actualizaciones. Ten en cuenta que robots.txt controla el rastreo, no necesariamente la eliminación de páginas ya indexadas. Los entornos de staging suelen incluir Disallow: / y a veces se publican así por error. Prueba robots.txt tras cada migración y cambio de CMS. Si necesitas sacar una página de resultados, usa noindex—no robots.txt solo.
¿Robots.txt es lo mismo que noindex?
No. robots.txt indica a los rastreadores que no soliciten ciertas URLs; noindex (vía meta robots o cabecera HTTP) indica a los buscadores que no indexen una página ya rastreada. Una página bloqueada por robots.txt puede seguir apareciendo en resultados con un snippet de enlaces externos si Google conoce la URL. Usa noindex cuando quieras excluir una página de búsqueda pero necesites que los rastreadores vean otras señales. Usa robots.txt para gestionar el presupuesto de rastreo en rutas de bajo valor como URLs con filtros facetados.
¿Los rastreadores de IA siguen robots.txt?
Muchos rastreadores de IA declaran respetar robots.txt como política de acceso del sitio, aunque las políticas varían por proveedor. Si quieres permitir indexación en buscadores pero limitar rastreadores de entrenamiento de IA, puede que necesites reglas user-agent específicas por proveedor. robots.txt es público—cualquiera puede leerlo—así que no lo uses como seguridad. Revisa las reglas cuando añadas nuevos user-agents de bots a tu política.
¿Tu robots.txt está bloqueando tráfico?
Prueba tus reglas de rastreo en segundos y corrige problemas antes de que te cuesten posiciones.
Probar robots.txt gratis