#2 Yo a un cliente le estaba destruyendo el rendimiento de la web los Bytespider de Bytedance (la dueña de Tiktok). Intentaban cargar un montón de URLs en paralelo y al dueño le suponía tener que quedarse 15 minutos más allá del cierre para poder grabar las ventas del día.
Hacen estragos afectando al mundo real ya.
En un foro que administro está siendo un verdadero coñazo. Tenemos Cloudflare y una nueva (la anunciaron en julio, https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/) funcionalidad para cortarle el acceso a todos los bots conocidos, y eso nos ha salvado el culo. Antes de eso teníamos el número de conexiones al tope en casi todo momento (1200, casi todos de Facebook/Meta, que pasaban de robots.txt) y el foro era casi inaccesible para los usuarios normales. Y sin el tope ese nos habría arruinado por el consumo de ancho de banda.