Cloudfare detalla una investigación sobre como Perplexity está usando técnicas de scraping para ofuscar su identidad y evitar los bloqueos por parte de las webs, ignorando así el deseo de sus dueños como se define en el fichero robots.txt. Entre las tecnicas que usan: rotación de ips, usar browser fingerprint falsos, ignorar el robots.txt.
|
etiquetas: perplexity , ai , bots , amenaza , cloudfare
#5
Que saltarse un txt no os ofusque.