Existe un fichero en los servidores web Apache (el 90% de los servidores), llamado .htaccess, .htaccess es un archivo de texto oculto que contiene una serie de directivas para el servidor Apache. Cuando un cliente solicita un archivo al servidor, este busca desde el directorio raíz hasta el subdirectorio que contiene el archivo solicitado el archivo. y aquí una guía para que los crawlers no se «pierdan» y sepan en todo momento por donde pueden y deben ir.