¿Por qué lo hacen así los buscadores? ¿Por qué?

Entiendo cómo una URL puede acabar en conocimiento de Google aún cuando los dueños del sitio web al que pertenece esa dirección hayan expresado de forma explícita en su fichero robots.txt que no quieren que sea indexada.

[#1 Krisiskekrisis]

No pueden evitarlo

[#5 DenisDiderot]

¡¡¡¿Pero por qué?!!!

[#4 Desactivado]

Casi me salto las imágenes de ejemplo pensando que eran anuncios de google . Está claro que no necesito el ad-block jeje

[#2 ROR78]

La teoría de apariencia de la calidad por cantidad: a más resultados de búsqueda, más prestigio.

[#3 budnux]

Son sus costumbres y hay que respetarlas.