Menéame: comentarios [4035080]

#13 Qué es el archivo robots.txt y para qué sirve

perrico — Fri, 07 Mar 2025 07:06:16 +0000

#3 ¿Que pasa si se escribe el nombre con faltas de ortografía?

» autor: perrico

#12 Qué es el archivo robots.txt y para qué sirve

Jakeukalane — Fri, 07 Mar 2025 06:52:34 +0000

#10 menos mal

» autor: Jakeukalane

#11 Qué es el archivo robots.txt y para qué sirve

Jakeukalane — Fri, 07 Mar 2025 06:52:16 +0000

#7 sí, es obsoleto. Solo lo envían por las risas.

» autor: Jakeukalane

#10 Qué es el archivo robots.txt y para qué sirve

chupacabres — Thu, 06 Mar 2025 23:31:49 +0000

A los crawlers modernos se la pela bastante el robots...

» autor: chupacabres

#9 Qué es el archivo robots.txt y para qué sirve

benjami — Thu, 06 Mar 2025 22:47:47 +0000

Las noticias descartadas en Menéame tienen <meta name="robots" content="noindex,nofollow" />

(Gracias, Dunning-Kruger!)

» autor: benjami

#8 Qué es el archivo robots.txt y para qué sirve

fernando_sierra — Thu, 06 Mar 2025 22:41:22 +0000

Es el cartel indicando donde tienen que ir a donde tú no quieres que vayan

» autor: fernando_sierra

#7 Qué es el archivo robots.txt y para qué sirve

paco_camps_2011 — Thu, 06 Mar 2025 22:38:43 +0000

¿Estamos en los años 2000?

» autor: paco_camps_2011

#6 Qué es el archivo robots.txt y para qué sirve

zULu — Thu, 06 Mar 2025 22:28:03 +0000

Sirve para decir exactamente que no queremos que rastreen y dar pistas a los crawlers de donde pueden estar los datos jugosos.
No es un código ético ni nada por el estilo, se puede saltar.

» autor: zULu

#5 Qué es el archivo robots.txt y para qué sirve

--633161-- — Thu, 06 Mar 2025 22:24:09 +0000

Sirve para que se lo pasen por los huevos los que realmente te comen el ancho de banda.

» autor: --633161--

#4 Qué es el archivo robots.txt y para qué sirve

Rembrandt — Thu, 06 Mar 2025 22:16:26 +0000

si, que si, joder... que si, que es el .htaccess

(no se pongan nerviosos los que controlan )

» autor: Rembrandt

#3 Qué es el archivo robots.txt y para qué sirve

Cuchipanda — Thu, 06 Mar 2025 21:44:02 +0000

RewriteEngine On
RewriteCond %{HTTP_HOST} ^meneame.net$ [OR]
RewriteCond %{HTTP_HOST} ^www.meneame.net$
RewriteCond %{REQUEST_URI} Varsavsky [NC]
RewriteRule ^(.*)$ www.meneame.net/story/sobre-articulo-acabo-descartar [R=301,L]

www.meneame.net/notame/3671798

» autor: Cuchipanda

#2 Qué es el archivo robots.txt y para qué sirve

jonolulu — Thu, 06 Mar 2025 21:08:47 +0000

Muy fino

» autor: jonolulu

#1 Qué es el archivo robots.txt y para qué sirve

Mustela — Thu, 06 Mar 2025 21:05:31 +0000

Artículo relacionado: www.meneame.net/story/sobre-articulo-acabo-descartar

» autor: Mustela