Probador de robots.txt
Inspeccione cómo magdenim.com.ar controla el acceso del rastreador, las rutas bloqueadas, las referencias de mapas del sitio y las reglas del rastreador de IA.
Estado de Robots.txt
Estado de Robots.txt
Desaparecido
Puntaje
52
/100
· Necesita revisión
Ver Robots.txt completo
Vista previa del contenido de Robots.txt
No se encontró contenido robots.txt para este dominio.
Reglas de agente de usuario
| Agentes de usuario | Caminos permitidos | Caminos no permitidos |
|---|---|---|
| No se pudo analizar ningún grupo de agentes de usuario desde este archivo robots.txt. | ||
Rutas bloqueadas y permitidas
| Caminos bloqueados | No se detectaron rutas no permitidas. |
|---|---|
| Caminos permitidos | No se detectaron rutas permitidas explícitas. |
| retraso de rastreo | No se detectó ninguna directiva de retraso de rastreo. |
Mapas del sitio detectados
No se encontraron directivas de mapas de sitio en robots.txt.
Política de rastreadores de IA
No se detectaron bloqueos explícitos para rastreadores de IA comunes (GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended).
Problemas encontrados
- robots.txt file is missing for this domain.
Recomendaciones
- Create a robots.txt file so you can clearly control crawler access to your content.
- Document your AI crawler policy explicitly in robots.txt so future bots know how to treat your content.
- Ensure important pages, CSS and JavaScript assets are crawlable so search engines can fully render your site.