Probador de robots.txt
Inspeccione cómo soyfira.com controla el acceso del rastreador, las rutas bloqueadas, las referencias de mapas del sitio y las reglas del rastreador de IA.
Estado de Robots.txt
Estado de Robots.txt
Presente
Puntaje
84
/100
· Fuerte
Ver Robots.txt completo
Vista previa del contenido de Robots.txt
User-agent: * Allow: / Disallow: *?lightbox= # Optimization for Google Ads Bot User-agent: AdsBot-Google-Mobile User-agent: AdsBot-Google Disallow: /_partials* Disallow: /pro-gallery-webapp/v1/galleries/* # Block PetalBot User-agent: PetalBot Disallow: / # Crawl delay for overly enthusiastic bots User-agent: dotbot Crawl-delay: 10 User-agent: AhrefsBot Crawl-delay: 10 Sitemap: https://www.soyfira.com/sitemap.xml # Auto generated, go to SEO Tools > Robots.txt Editor to change this
Reglas de agente de usuario
| Agentes de usuario | Caminos permitidos | Caminos no permitidos |
|---|---|---|
| * |
|
|
| adsbot-google-mobile | No hay reglas de permiso explícitas. | No hay reglas explícitas para no permitir. |
| adsbot-google | No hay reglas de permiso explícitas. |
|
| petalbot | No hay reglas de permiso explícitas. |
|
| dotbot | No hay reglas de permiso explícitas. | No hay reglas explícitas para no permitir. |
| ahrefsbot | No hay reglas de permiso explícitas. | No hay reglas explícitas para no permitir. |
Rutas bloqueadas y permitidas
| Caminos bloqueados |
|
|---|---|
| Caminos permitidos |
|
| retraso de rastreo | 10,0 segundos |
Mapas del sitio detectados
Política de rastreadores de IA
No se detectaron bloqueos explícitos para rastreadores de IA comunes (GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended).
Problemas encontrados
- At least one user-agent has Disallow: / which blocks the entire site.
- Wildcard (*) patterns should typically be used with explicit paths, e.g. /path/*.
Recomendaciones
- Avoid blocking the entire site (Disallow: /); restrict only sensitive or low-value paths instead.
- Document your AI crawler policy explicitly in robots.txt so future bots know how to treat your content.
- Ensure important pages, CSS and JavaScript assets are crawlable so search engines can fully render your site.