CrowdStrike rompió Debian y Rocky Linux hace meses, pero nadie se dio cuenta [EN]

En abril, una actualización de CrowdStrike provocó que todos los servidores Debian Linux en un laboratorio de tecnología cívica fallaran simultáneamente y se negaran a arrancar. La actualización resultó incompatible con la última versión estable de Debian, a pesar de que supuestamente se admitía la configuración específica de Linux. El equipo de TI del laboratorio descubrió que eliminar CrowdStrike permitió que las máquinas se iniciaran e informó del incidente.

[#11 lameth]

#10 No no. Todos los SOs hoy por hoy tienen niveles de seguridad, y en todos, por ejemplo, el kernel es el nivel cero.
Hay vulnerabilidades que afectan a la arquitectura física, y eso solo puede arreglarse "tapando" eso, así que las empresas grandes de verdad (como esta) de ciberseguridad tienen acceso al nivel 0. Y eso lo tienen en plan permisos de Windows, con nombres y certificados específicos y tal.
Ahí seguramente es donde esté el fallo.
Lo que ya no te puedo decir es exactamente en que parte la han cagado, por falta de información.

[#12 soberao]

#11 Eso es en Windows en entornos tipo Unix no existe ese "nivel 0".

[#13 lameth]

#12 Pero por la numeración:
Los niveles de seguridad es la escalabilidad de los permisos del software en los SOs. Si tu tienes un kernel, tendrá que estar en el nivel más bajo junto con el acceso a la BIOS o el controlador de e/s (por ejemplo). Después tendrás el acceso a memoria, tarjeta de red, etc. Estos niveles los define la politica de permisos del SO, donde sin lugar a ningún agujero (por eso se parchean, porque se encuentran agujeros en este esquema de seguridad) permiten o deniegan el acceso a los recursos.
Esto lo puedes llamar como te de la gana, pero en informática son niveles de seguridad del SO.

[#14 soberao]

#13 https://web.archive.org/web/20061004152353/http://www.dsm.fordham.edu/~moniot/Classes/InternetWebF00/unix-security/unix-security.html

[#15 lameth]

#14 Pero tu hablas de otra cosa:
1.- Tu hablas de permisos de acción. Ejecución, lectura, modificación.
2.- Yo te hablo de permisos sobre recursos del sistema:
2.1- No puedes permitir que, por ejemplo, un juego acceda a la BIOS.
2.2- En cambio, el servicio de actualizaciones tiene que tener acceso a la controladora de memoria, por ejemplo.
3.- Esos permisos hoy por hoy son escalables: antes era por zona (por definirlo de alguna forma, son muchos años ya).
4.- Todos esos permisos son por niveles. El nivel 4 (un archivo de texto creado por el usuario) es solo de ejecución lectura y escritura del mismo. El nivel 3 puede modifcar el trato del software por sobre el archivo (un ejemplo sería el modificar el Framework que hacen hoy por hoy muchos juegos).
El nivel 2 es el propio SO sobre el software y el usuario, como paso a los recursos del sistema. El nivel 1 era (por eso se añadió el nivel 0) todo lo demás. El nivel 0 se llevó la BIOS, el MRB (solo una parte) y algunos drivers, como los de bus, HDD....
5.- Esto es. Ningún software puede ni debe acceder a niveles más profundos. Ninguno.

[#16 soberao]

#15 Hablo de los permisos que puede tener un programa de CrowdStrike dentro de un entorno Unix. Si no va dentro de Systemd no puede romper el inicio, puede cuando se ejecute quedarse en un bucle pero no puede impedir que el resto de programas siga. En sistemas Unix se puede matar un permiso de forma automática cuando se lleva mucho tiempo acaparando todos los recursos, por ejemplo.

[#17 lameth]

#16 Lo primero de todo, es que seguramente los tenga (no lo se, no lo he manejado nunca, pero es una solución de ciberseguridad). Después, los parches de seguridad en todo sistema de información se aplican porque algo había mal, como en este caso seguramente.
Lo dicho, aunque sea Linux, si tu se lo permites puede hacer lo que le de la gana.

[#18 soberao]

#17 "es una solución de ciberseguridad"
En sistemas Windows, en sistemas tipo Unix un antivirus nunca forma parte de los paquetes esenciales de una distribución.

[#19 lameth]

#18 No estás diferenciando bien. Por eso lo he puesto así.
Todo sistema informático que cuente con conexión necesita de seguridad de algún tipo, sea por permisos de usuario, acceso a recursos, conexiones físicas, etc.
En el caso de Linux, lo que se hace es parchear fallos en su programación, como sobrecargas de memoria, acceso no autorizado, o problemas de recursividad.
En este caso en concreto, seguramente la empresa es contratada por otras empresas que usan Linux en alguna de sus distribuciones en algún caso, que suele ser en sus servidores. Ellos parchean y testean cualquier fallo de seguridad, así como implementan soluciones de ciberseguridad.

[#20 Cuñado]

#2 en sistemas tipo Unix un antivirus es un programa secundario que no tiene ninguna utilidad

CrowdStrike Falcon no es un antivirus, sino un EDR. La funcionalidad de antivirus es sólo una más y posiblemente la menos demandada en sistemas Linux. Y por descontado que se utilizan en muchísimos sistemas Linux que corren servicios críticos.

#5 es muy raro reiniciar después de actualizar aplicaciones

El sensor de un EDR es un LKM (módulo cargable en el kernel, algo parecido a un driver de Windows), que es la única manera de obtener probes y trazas del kernel. Aunque técnicamente puede actualizarse sin reniciar, todos suelen requerirlo para curarse en salud.

El cómo se haga esto dependerá de la política de patch management de la compañía. Los servicios críticos que suelen deberían estar redundados *nunca se actualizan todos a la vez, pero en labs o en entornos de desarrollo o staging esto es muy común.

#10 un programa como ese solo debería interrumpir su proceso, no colgar el sistema

Un LKM extiende el código del kernel y puede romperlo muy fácilmente.

#16 Si no va dentro de Systemd no puede romper el inicio

Un LKM no interactúa con el núcleo. Es parte del núcleo.

[#21 lectorcritico]

#20 A lo mejor habria que aplicar la filosofia de Qmail, dividir el programa, minimizando la parte critica para que sea mas simpley feacil de gestiona y detectar errrores y que se comunique con la parte compleja.

Qmail, tiene un parte muy pequeña que se comunica con internet y ofrece una recompensa q uien encuentre una vulneravilidad.

En este caso la parte critica es LKM.

[#24 Cuñado]

#21 En este caso la parte critica es LKM.

En este caso también. El sensor se encarga únicamente de las funciones reservadas a módulos del kernel (como obtener probes y trazas o interceptar llamadas de sistema).

[#22 chavi]

#20 Se pueden retirar e insertar numerosos LKM sin reiniciar el sistema sin ningún problema. Prácticamente para lo único que es necesario reiniciar es para cambiar el kernel mismo

[#23 Cuñado]

#22 Algunos sensores de EDRs hacen cosas sucias como sustituir syscalls (algo explícitamente desaconsejado por los desarrolladores del kernel). Puedes sustituir el módulo sin reiniciar, pero existen probabilidades de obtener un page fault que desemboque en un kernel panic, lo cual desde luego es mucho peor que un reinicio programado. Existen extensiones como Ksplice o Kpatch para evitar esto, pero no son de uso muy común. (En cualquier caso depende del sensor, algunos sí se actualizan sin requerir reinicio, pero no la mayoría).

Por otra parte, el despliegue más común para un sensor como el que nos ocupa es como sideload en un pod. Esos despliegues se llevan a cabo a través de un inyector que requiere un reinicio del workload.

[#2 soberao]

Aquí describen un fallo del proceso de actualización, incluso suena raro que actualicen todos los servidores al mismo tiempo y esperen para arrancarlos todo a la vez. También es raro que un programa rompa todo el inicio sin ser parte de los programas de arranque, no suena muy creíble esta noticia...

[#4 chiyori]

#2 Es típico de los antivirus ejecutarse antes que cualquier otra cosa.

[#9 soberao]

#4 En Windows, en sistemas tipo Unix un antivirus es un programa secundario que no tiene ninguna utilidad, solo se usa en servidores de correo para evitar ficheros con virus para clientes que usen Windows.

[#5 chavi]

#2 Sin hablar que es muy raro reiniciar después de actualizar aplicaciones

[#6 lameth]

#2 "Crowdstrike's model seems to be 'we push software to your machines any time we want, whether or not it's urgent, without testing it'," lamented the team member. Esto es. traduzco:
Ponemos el software en tus maquinas cuando nos da la gana, sea o no urgente, sin testear.
No puedes hacer un antivirus de primer nivel (en todos los sentidos) o incluso nivel 0 y no testearlo.

[#10 soberao]

#6 Aunque hagan eso la organización de los permisos en entornos Unix es muy diferente y un programa como ese solo debería interrumpir su proceso, no colgar el sistema. Suena a bulo.

[#7 lameth]

La importancia de los LTS. Por esto Linux es mejor que Windows.

[#3 chiyori]

¿Lo veis? Para que luego digan que lanzan las distribuciones sin haberlas probado antes.

[#8 lameth]

Es una de las cosas que se miran los que saben antes de recomendar o pillarse un antivirus. El cuando se ejecuta.

[#1 malajaita]

Mientras intentaban rebotar los servidores escuchaban Crosstown Traffic de Hendrix.