Agente de usuario
Identifica a qué rastreador se aplica un grupo de reglas.
¿Qué es robots.txt?
Comprenda cómo funciona el archivo robots.txt, qué puede y qué no puede hacer y por qué es importante para los motores de búsqueda y los rastreadores de IA.
Pruebe robots.txt con Robots.txt Tester
No es necesario registrarse. Se ejecuta directamente en su navegador.
Resumen rápido
Permitir/No permitir
Especifique rutas que los robots pueden rastrear o no.
retraso de rastreo
Sugerencia de ritmo opcional sobre la frecuencia con la que los bots deben solicitar páginas.
robots.txt en términos simples
robots.txt es un archivo de texto público que se encuentra en la raíz de su dominio, como https://example.com/robots.txt. Indica a los rastreadores qué rutas pueden solicitar y cuáles deben evitar. No protege los datos privados, pero actúa como una primera puerta para que los rastreadores descubran su sitio.
Elementos clave dentro de robots.txt
-
Agente de usuario
Identifica a qué rastreador se aplica un grupo de reglas.
-
Permitir/No permitir
Especifique rutas que los robots pueden rastrear o no.
-
retraso de rastreo
Sugerencia de ritmo opcional sobre la frecuencia con la que los bots deben solicitar páginas.
-
Mapa del sitio
Dirige a los rastreadores a uno o más mapas de sitio XML para un descubrimiento más rápido.
Errores comunes de robots.txt
- Usar Disallow: / para un agente de usuario amplio y bloquear involuntariamente todo el sitio.
- Bloquear los recursos CSS o JavaScript que los motores de búsqueda necesitan para representar las páginas correctamente.
- Olvidar hacer referencia a su mapa de sitio XML, lo que hace que el descubrimiento de contenido sea más lento.
Preguntas frecuentes
¿Puede el archivo robots.txt bloquear mi sitio en Google?
Sí. Una regla amplia de No permitir puede impedir el rastreo. Las pruebas ayudan a prevenir bloqueos accidentales.
¿Robots.txt es lo mismo que noindex?
No. robots.txt controla el rastreo, mientras que noindex (meta robots) controla si una página está indexada.
¿Los rastreadores de IA siguen robots.txt?
Muchos rastreadores de IA respetan el archivo robots.txt como política de acceso público, por lo que es un buen lugar para definir preferencias.
Vea cómo los rastreadores leen su archivo robots.txt
Utilice el probador gratuito Robots.txt para buscar, analizar y revisar las reglas de rastreo de su dominio.
Pruebe robots.txt con Robots.txt Tester