Menéame: comentarios [3079001]

#8 Historia de Web Scraping: Espías en MediaMarkt

dphi0pn — Thu, 07 Feb 2019 08:01:49 +0000

#7 sigue así y llegarás a hacker

» autor: dphi0pn

#7 Historia de Web Scraping: Espías en MediaMarkt

FreddyFregaplatos — Wed, 06 Feb 2019 16:05:03 +0000

#5 Hola. Soy el autor de la entrada. Gracias a @dphi0pn , @dirok y @PeT por los comentarios

He cambiado el import como recomendabas. Con respecto al bucle ya he cambiado el código para escrapear el paginador de la seccion de moviles del mediamarkt y no tener que meter "a mano" la cantidad de peticiones.

Con respecto a validar lo escrapeado creo que os referís a que compruebe si el precio es un número y sino, lanzar una excepción, etc, verdad? Lo haré próximamente para completar el código y dejarlo fetén también.

Gracias por las recomendaciones, no tengo mucha experiencia con python y esto me ayuda!

» autor: FreddyFregaplatos

#6 Historia de Web Scraping: Espías en MediaMarkt

PeT — Wed, 06 Feb 2019 15:39:39 +0000

#4 #5 podéis dejar el comentario en la web, el autor ya dice "Si crees que el código es susceptible de mejora escríbeme con la propuesta y lo cambiaré encantado". A lo mejor es que solo quiere contar el concepto y añade un ejemplo de "andar por casa" aunque #4 tienes toda la razón no comprueba nada y en cualquier cambio cascará.

» autor: PeT

#5 Historia de Web Scraping: Espías en MediaMarkt

dphi0pn — Wed, 06 Feb 2019 13:32:30 +0000

Para empezar si vas a usar time.sleep el import deberia ser from time import sleep.
Desde luego no crawlea, esto es no añade nuevos links que el Spider encuentre, sino un triste loop for, por lo demás aprobado en Scraping sin scrapy.

PD: Para instalar BeatifulSoup para Python3, creo que se llama bs4-BeatifulSoup el paquete o algo similar

» autor: dphi0pn

#4 Historia de Web Scraping: Espías en MediaMarkt

dirok — Wed, 06 Feb 2019 13:20:58 +0000

Me lloran los ojos después de leer el código y ver que no hace ni única comprobación de tipos, tamaños, etc.
product = str(elemento).split('":"')[1]
precio = str(elemento).split('":"')[3].replace('brand','').replace(',','').replace('""','')+'EU'

Esto mañana ya le está lanzando una excepción.

PD: Ya que hace un POST sobre eso, bien podía utilizar la version 4 de beautiful soup donde métodos como findAll han sido redefinidos a find_all (y así con todos).

» autor: dirok

#3 Historia de Web Scraping: Espías en MediaMarkt

aauivozcrx — Wed, 06 Feb 2019 13:12:29 +0000

menudo tolai el que escribe

» autor: aauivozcrx

#2 Historia de Web Scraping: Espías en MediaMarkt

kumo — Wed, 06 Feb 2019 13:10:11 +0000

Curioso. De todas maneras, yo he encontrado diferencias entre la web y el comercio en varias ocasiones, mandando la web, por lo que si está más barato, tienen que rebajarte el precio. Así que cuando voy al Media suelo mirarlo.

» autor: kumo

#1 Historia de Web Scraping: Espías en MediaMarkt

--575965-- — Wed, 06 Feb 2019 12:56:50 +0000

[Usuario deshabilitado]

» autor: --575965--