Probador de robots.txt
Encontrá reglas de rastreo que puedan estar bloqueando motores de búsqueda o desperdiciando tu presupuesto de crawl.
Ejecutando análisis…
Qué incluye
-
Estado del archivo
Verificá que robots.txt exista y devuelva una respuesta válida.
-
Reglas de User-agent
Revisá directivas Allow y Disallow por crawler.
-
Rutas bloqueadas
Detectá rutas que puedan bloquear contenido importante.
-
Referencias de sitemap
Comprobá si los sitemaps están declarados correctamente.
-
Reglas para crawlers de IA
Mirá cómo se permiten o bloquean los bots de IA.
-
Recomendaciones
Obtené correcciones claras para problemas de rastreo e indexación.
Cómo funciona
-
Ingresá la URL de tu sitio web
-
Obtenemos y analizamos tu robots.txt
-
Obtené tu informe de reglas de rastreo al instante
Prueba de robots.txt simplificada
Una sola regla Disallow mal configurada puede ocultar todo tu sitio de los motores de búsqueda sin que lo sepas.
Nuestro probador destaca patrones riesgosos, sitemaps faltantes y políticas de crawlers de IA para que corrijas problemas rápido.
Probar robots.txtPreguntas frecuentes
¿Este probador de robots.txt es gratuito?
Sí. Podés probar cualquier dominio público y recibir un informe gratuito de robots.txt con análisis de reglas de rastreo y recomendaciones.
¿Puede el archivo robots.txt bloquear todo mi sitio en la búsqueda?
Sí. Una regla como Disallow: / para un grupo amplio de usuarios-agentes bloqueará efectivamente el rastreo de ese segmento. El probador resalta estos patrones para que pueda evitar bloqueos accidentales.
¿Esta herramienta modifica mi archivo robots.txt?
No. El probador realiza una solicitud HTTP de solo lectura a /robots.txt, analiza la respuesta y presenta las reglas en un formato fácil de leer. No publica datos ni requiere autenticación.
¿Con qué frecuencia debo revisar robots.txt?
Revisá tu robots.txt cuando lances una nueva sección, migres un sitio, cambies el enrutamiento del CMS o actualices tu política de crawlers de IA. Pequeños errores de configuración pueden tener un gran impacto en la indexación y la visibilidad.
¿Por qué importan las reglas para crawlers de IA?
A medida que los crawlers de IA se vuelven más comunes, robots.txt actúa como el contrato público de tus políticas de bots de IA, indicando qué agentes pueden acceder a tu contenido y cuáles deben mantenerse alejados.
¿Necesitás mejor visibilidad en búsqueda?
Los problemas de SEO técnico pueden limitar la visibilidad y el crecimiento de tu sitio web. Ayudamos a las empresas a mejorar la rastreabilidad, el rendimiento en búsqueda y la generación de leads.
