Una interesante herramienta para generar archivos robots.txt Con el código que genera podrás bloquear el acceso a determinadas carpetas, imágenes, archivos, etc... No dispone aún de la nueva funcionalidad para notificar la ubicación de los Sitemaps
Me extraña a mi que con el robots.txt vayas a bloquear el acceso a nada, me juego una de la dos escopetas que tengo a que las arañas de google se pasan el robots ese por el forro como si fuese un rel=nofollow de esos.
Lo mejor sería usar un .htaccess y si da mucha paranoia meter una contraseña.
Comentarios
Me extraña a mi que con el robots.txt vayas a bloquear el acceso a nada, me juego una de la dos escopetas que tengo a que las arañas de google se pasan el robots ese por el forro como si fuese un rel=nofollow de esos.
Lo mejor sería usar un .htaccess y si da mucha paranoia meter una contraseña.
#2 tiene razón, muchos robots se pasan el robots.txt por la piedra:
http://www.fleiner.com/bots/
http://forums.digitalpoint.com/showthread.php?t=24847
http://www.webmasterworld.com/google/3044757.htm
hola, por favor nos podrías dar más detalles sobre esta nueva funcionalidad de robots.txt para notificar la ubicación de sitemaps??
gracias