Las empresas y las agencias de la ciudad que recurran a herramientas automatizadas deben someter esos programas a una auditoría externa para descartar sesgos discriminatorios. Deben asegurarse de que se ha realizado una auditoría de sesgos antes de utilizar la herramienta; publicar un resumen de los resultados en su sitio web, y notificar a los candidatos y empleados que el programa se utilizará para evaluarlos, así como incluir instrucciones para solicitar un ajuste razonable de requisitos del puesto y capacidades personales.
Comentarios
Esto ya se utilizó hace tiempo... en Amazon, si no me falla la memoria. El algoritmo empezó a elegir a los mejores preparados para cada puesto y resultó que eso empeoraba las cifras de empleabilidad de determinados colectivos. Al poco terminaron desechando el algoritmo.
#3 En defensa del algoritmo, es lo mismo que pasa con muchos otros sistemas de selección. Google ha sido famoso por sus preguntas "creativas" pero al final parece que no terminaban demostrando que alguien fuera mejor para ese puesto.
Traducción: como aplicar un algoritmo objetivo hace que no se le den privilegios de selección a ciertos colectivos entonces se obliga a reprogramarlos para añadir sesgos subjetivos y discriminación positiva.
#4 Creo que también hay un ángulo legítimo a tener en cuenta. Una IA va a aprender usando todos los datos y asociaciones para construir su modelo y dar sus predicciones. Si "negro" va asociado en mayor proporción a "poca cualificación", a "riesgo de criminalidad", a "bajas por enfermedad" o a "menor permanencia en la empresa", una IA puede atribuir a la condición de negro un valor negativo en su predicción de cómo será como empleado. Lo mismo a mujeres, a hispanohablantes, a jóvenes, a extranjeros, a gente de Oregón o a informáticos. Hay cierto riesgo de que un individuo sea perjudicado por el estereotipo del grupo al que involuntariamente pertenece.
La cosa tiene su miga. Se puede hacer bien o mal, pero merece discusión.
#5 Ya han salido múltiples noticias y estudios a lo largo de los años sobre este tema y al final siempre acaba siendo lo mismo, el problema no suele ser que el algoritmo tenga sesgo, el problema suele ser la falta de sesgo positivo del algoritmo, que hace que ciertos colectivos que están de media menos preparados sean objetivamente contratados en menor proporción que su porcentaje de aplicantes o población activa.
Aún recuerdo como hace unos años se puso muy de moda el concepto de que se debía esconder foto, nombre y sexo de los candidatos a entrevistas. Pasados unos pocos años de estudios sociológicos y pruebas reales al respecto ya no se oye a casi nadie pedirlo, después de que se demostró el sesgo positivo que tiene RRHH ante las candidatas mujeres, y que se perdía al hacerlo anónimo.
#4 #5 Por añadir algo, la IA en muchos aspectos es como un niño pequeño. Si la mayoría de la población es "blanca", la mayoría de los mejores candidatos también lo serán, es fácil que simplemente empiece a descartar a otros colectivos de forma automática, y en cierta forma eso es "objetivo".
Así como decía en otro comentario, las IA de aprendizaje automático tienen muchos problemas de sesgos. Por ejemplo, en imagén médica y una IA que detecta tumores. Realmente la gente con tumores es una minoría, la mayoría de los pacientes no tendrá nada. Así que tienes dos grupos "desbalanceados", y la IA simplemente aprende que es más fácil decir que nadie tiene nada.
Se puede ver de otra forma, supongamos que tu trabajo es meter tornillos en una caja, comprobar que estan bien, y solo 1 en un millón presenta defectos. A tomar por culo, ni te molestas en ver si los tornillos tienen defectos. Todos a su caja y se acabó, encima, si te equivocas tienes una fiabilidad de un fallo en un millón...
#4 mira ahora que han quitado la discriminación positiva para acceder a las universidades públicas....
Los algoritmos son racistas porque los programan personas, y hasta la persona que se dice menos racista es racista.
#1 Realmente no, que no discuto que se pueda programar mal, pero los problemas de sesgos en algoritmos de aprendizaje automático son bien conocidos, así como los métodos para intentar evitarlos. A veces simplemente los datos se prestan para que haya sesgos, y el algoritmo al ser "objetivo" al final hasta termina siendo más sesgado.
ahora que se metan en la cabeza de todos los gatitos que tienen su "algoritmo" un poco cargao hacia el negro