Los ficheros Robots.txt establecen una serie de criterios y recomendaciones sobre la información que pueden recoger de una web los Robots (también conocidos como Crawlers) de los motores de búsqueda en Internet. Sin embargo, para el internauta común, estos ficheros pueden aportar una utilidad adicional: descubrir artículos y archivos ocultos a los motores de búsqueda.