Generador de robots.txt
Cree un robots.txt con múltiples bloques user-agent, reglas Allow/Disallow, Crawl-delay opcional, Host y líneas de Sitemap. La vista previa se actualiza en vivo a medida que escribe.
Bloques de User-agent
Global
Notas:
Host es respetado por algunos rastreadores (p. ej., Yandex). Crawl-delay no lo usa Google pero puede ser usado por otros. Los comodines * y $ están ampliamente soportados (no en el RFC principal).
Vista previa (robots.txt)
Probador de URL
Recordatorio:
robots.txt es de acceso público y sirve como directriz para rastreadores bien comportados; no es un mecanismo de control de acceso.
Asted Cloud
Comentarios (0)
Comparte tu opinión — por favor, sé amable y mantente en el tema.
Inicia sesión para comentar