Yo quería ver si al GoogleBot le estaban mostrando tanta publicidad, así que me fui a la página de Google a buscar cuáles era los últimos valores de User-Agent que estaba utilizando, y me configuré varios utilizando las herramientas de Mozilla Firefox para configuración del campo User-Agent que permiten hacer un spoofing del auténtico navegador.Una vez hecho esto, fui a navegar a la misma página del periódico, y me sorprendió - en positivo - que no me aparecía tanta publicidad en la web, solo porque estaba navegando con el User-Agent de Google
Comentarios
Es una bonita manera de leer la prensa AEDE sin que les sume lectores, la lee el el googlebot
Firefox + extensión para eliminar anuncios y listo.
Si examinamos los anuncios que se evitan al cargar las páginas con ese user agent nos damos cuenta que son anuncios que suministra google ( en el caso de el mundo un iframe de ad.doubleclick.net que contiene un anuncio servido por google ) . Entiendo que, como google no es tonto, no sirve sus anuncios a sus propios crawlers por propia eficiencia: muchos crawlers examinando muchas webs generan mucho tráfico extra si le servimos todos los anuncios. No creo que sean las páginas de los periódicos quienes tienen en cuenta esto sino el propio google.