Probador de robots.txt
Inspeccione cómo legard.com.ar controla el acceso del rastreador, las rutas bloqueadas, las referencias de mapas del sitio y las reglas del rastreador de IA.
Estado de Robots.txt
Estado de Robots.txt
Presente
Puntaje
84
/100
· Fuerte
Ver Robots.txt completo
Vista previa del contenido de Robots.txt
User-agent: * Disallow: Crawl-delay: 60 # 60 segundos entre cada request Visit-time: 0300-1200 # 00:00 AM a 09:00 AM (America/Argentina/Buenos_Aires) Request-rate: 6/60m # permite indexar 6 documentos cada 60 minutos Request-rate: 3/60m 1200-0300 # permite indexar 3 documentos cada 60 minutos entre las 09:00 AM a 00:00 AM (America/Argentina/Buenos_Aires) Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /*.sql$ # Bloqueo de las URL dinamicas Disallow: /*? # Bloqueo de busquedas Disallow: /?s= Disallow: /search # Bloqueo de trackbacks Disallow: /trackback Disallow: /*trackback Disallow: /*trackback* Disallow: /*/trackback # Permitir Google Webmaster Tool User-agent: Googlebot Allow: /*.js$ Allow: /*.css$ # wordpress Disallow: /xmlrpc.php Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /*/xmlrpc.php Disallow: /*/wp-admin/ Disallow: /*/wp-includes/ Disallow: /*/wp-content/plugins/ Disallow: /*/wp-content/cache/ Disallow: /*/wp-content/themes/ # joomla Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /*/administrator/ Disallow: /*/bin/ Disallow: /*/cache/ Disallow: /*/cli/ Disallow: /*/components/ Disallow: /*/images/ Disallow: /*/includes/ Disallow: /*/installation/ Disallow: /*/language/ Disallow: /*/layouts/ Disallow: /*/libraries/ Disallow: /*/logs/ Disallow: /*/media/ Disallow: /*/modules/ Disallow: /*/plugins/ Disallow: /*/templates/ Disallow: /*/tmp/
Reglas de agente de usuario
| Agentes de usuario | Caminos permitidos | Caminos no permitidos |
|---|---|---|
| * | No hay reglas de permiso explícitas. |
|
| googlebot |
|
|
Rutas bloqueadas y permitidas
| Caminos bloqueados |
|
|---|---|
| Caminos permitidos |
|
| retraso de rastreo | No se detectó ninguna directiva de retraso de rastreo. |
Mapas del sitio detectados
No se encontraron directivas de mapas de sitio en robots.txt.
Política de rastreadores de IA
No se detectaron bloqueos explícitos para rastreadores de IA comunes (GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended).
Problemas encontrados
- robots.txt does not reference any sitemap URLs.
- Blocking CSS or JS may prevent search engines from rendering pages correctly.
Recomendaciones
- Add a Sitemap directive in robots.txt pointing to your primary XML sitemap.
- Document your AI crawler policy explicitly in robots.txt so future bots know how to treat your content.
- Ensure important pages, CSS and JavaScript assets are crawlable so search engines can fully render your site.