Probador de robots.txt
Inspeccione cómo docs.google.com controla el acceso del rastreador, las rutas bloqueadas, las referencias de mapas del sitio y las reglas del rastreador de IA.
Preview
Puntaje: 84
- At least one user-agent has Disallow: / which blocks the entire site.
- robots.txt does not reference any sitemap URLs.
Get your full report + exact fixes
See what’s hurting your SEO and how to fix it step by step.
- Full breakdown
- Actionable fixes
- Prioritized next steps
Estado de Robots.txt
Estado de Robots.txt
Presente
Puntaje
84
/100
· Fuerte
Ver Robots.txt completo
Vista previa del contenido de Robots.txt
User-agent: * Crawl-delay: 1 Allow: /$ Allow: /?hl= Disallow: /?hl=*& Allow: /support/ Allow: /a/ Allow: /Doc Allow: /View Allow: /ViewDoc Allow: /present Allow: /Present Allow: /TeamPresent Allow: /EmbedSlideshow Allow: /presentation Allow: /templates Allow: /previewtemplate Allow: /fileview Allow: /gview Allow: /viewer Allow: /leaf Allow: /file Allow: /open Allow: /document Allow: /drawings Allow: /demo Allow: /folder Allow: /start Allow: /spreadsheet Allow: /forms Allow: /macros Allow: /keep Allow: /static Allow: /drive/ Allow: /videos Disallow: /templateabuse Disallow: /
Reglas de agente de usuario
| Agentes de usuario | Caminos permitidos | Caminos no permitidos |
|---|---|---|
| * |
|
|
Rutas bloqueadas y permitidas
| Caminos bloqueados |
|
|---|---|
| Caminos permitidos |
|
| retraso de rastreo | 1,0 segundos |
Mapas del sitio detectados
No se encontraron directivas de mapas de sitio en robots.txt.
Política de rastreadores de IA
No se detectaron bloqueos explícitos para rastreadores de IA comunes (GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended).
Problemas encontrados
- At least one user-agent has Disallow: / which blocks the entire site.
- robots.txt does not reference any sitemap URLs.
Recomendaciones
- Add a Sitemap directive in robots.txt pointing to your primary XML sitemap.
- Avoid blocking the entire site (Disallow: /); restrict only sensitive or low-value paths instead.
- Document your AI crawler policy explicitly in robots.txt so future bots know how to treat your content.
- Ensure important pages, CSS and JavaScript assets are crawlable so search engines can fully render your site.