Por si a alguien le interesa, he hecho un script (en progreso) para que quien quiera pueda construirse una granja con los enlaces descartados por el robots.txt: https://github.com/miguelff/boe-transparente
Portada
mis comunidades
otras secciones
Por si a alguien le interesa, he hecho un script (en progreso) para que quien quiera pueda construirse una granja con los enlaces descartados por el robots.txt: https://github.com/miguelff/boe-transparente