Ejemplo de Robots.txt mal llevados y cómo arreglarlo [inglés]

A veces pasamos de este archivo sin pensar cómo de útil nos puede ser para controlar hasta dónde dejamos que entre Google en nuestras web.

[#1 sabbut]

Relacionada: Asimov estaría orgulloso de este webmaster

Asimov estaría orgulloso de este webmaster

(¡Es importante indicar en alguna parte las Tres Leyes de la Robótica, aunque sólo sea por si las moscas!)