Hace 2 años | Por jelzimoñac a elpais.com
Publicado hace 2 años por jelzimoñac a elpais.com

Los algoritmos de momento no dictan sentencias en ningún Estado de derecho. Pero sí ayudan a los jueces de varios países a tomar decisiones. El sistema más conocido de este tipo es Compas, muy extendido en EE UU, que informa a los togados de las probabilidades de reincidencia de los presos a la hora de concederles la libertad condicional y permisos o beneficios penitenciarios. Ahora, un análisis del MIT Technology Review ha concluido que esta herramienta discrimina a determinadas minorías, concretamente a los negros. El informe coincide en este

Comentarios

a

Parece que esperemos que los algoritmos sean mejores que nosotros, cuando es de nosotros que se nutren.

peregrino

#20 Los algoritmos no son imparciales ni de lejos, dependen del sesgo de los programadores.

a

#34 Me permito presuponer una nula experiencia en programación como ignorancia mínima necesaria para ser capaz de decir eso.

peregrino

#39 Ojalá, yo se lo he oído hasta a doctores en informática. Y que de verdad se lo creen. Pero presupondremos eso.

a

#40 Hay mucha gente repitiendo las tonterías que oye. Cuando yo era un jovenzuelo y me quería meter en esto, unos contactos me enviaron hacia un profesional para que me aconsejara. Lo que me dijo no eran más que gilipolleces que habría leido en alguna revista, o eso me pareció. Una vez el profesional era yo y recordé esa entrevista, eran efectivamente absolutas gilipolleces.

Nadie se dedica a programar que si es mujer pues tal o si es negro pues lo otro. Eso, aparte de inútil, sería hasta ilegal. Se usan algoritmos muy genéricos, que no presuponen nada, y sacan los resultados dependiendo de los datos que haya. No hay más. Bueno, hay errores, eso siempre.

Eliminar los datos de sexo, raza, etc. es peor. Siempre es peor. Se ha hecho varias veces y siempre se ha tenido que retroceder porque los sesgos reales no coinciden ni de casualidad con los sesgos supuestos.

No hablo solo porque los ideólogos me caigan mal, que tambíen. Hay ciertas ideologías que van proclamando la supuesta existencia de determinados sesgos. Pues no es así. Sesgos, haylos, pero precisamente esos no. Los ideólogos se basan en su ideología (o sea, en nada) y yo me fijo en los escasos datos existentes. Son pocos pero todos coincidentes.

Luego sucede que los resultados obtenidos no gustan y se pretenden corregir introduciendo, esta vez sí, sesgos a propósito. Los resultados obtenidos así serán distintos, vale, pero para ese viaje no hacían falta alforjas. Si no te da la gana de usar los resultados objetivos, pues hazlo de otro modo, pero deja a la informática en paz.

D

#3 Si hablamos de EEUU, sí, son como el 13% de la población, en tercer lugar, por detrás de los hispanos (19%), y blancos (60%).

a

#3 Estimado.
Un algoritmo es un conjunto ordenado de instrucciones para tal caso.Por ejemplo una receta de cocina.
La estadística es una rama de la matemática.

A fines del siglo XIX un tal Lombroso desarrollo un algoritmo fundado en la craneometria y frenología entre muchos otros criterios, pero estos dos que menciono volvieron científicamente inútil sus postulados. Para los lombrosianos mas radicales no era necesario probar en ultima instancia la comisión de un delito. Bastaba que el imputado hubiese estado en la zona y hora del delito y su cara / cráneo. se ajustara a al dogma criminal unido claro a una paliza propeduetica / policial que lo convenciera de su culpabilidad.

Moderdonia

En su defensa el algoritmo ha declarado que no es racista pero...

D

si los datos apoyan la salida, no es discriminacion es estadistica, es un dato objetivo y defendible sin sesgos raciales preconcebidos, otra cosa es que haya gente que se ofenda y quiera un algoritmo a medida, creado para obtener su salida ideal, pero eso si tendria sesgos raciales preconcebidos, cuantos mas parametros se puedan incluir mas efectivo sera, o se confia y usa el algoritmo o no se usa, no hay mas, no se deben modificar las entradas ni para descriminacion racial ni positiva, sino no tiene sentido usar estas cosas

D

Un momento, un algoritmo decide quién obtiene la condicional o no?

tul

#8 devuelve una puntuacion para ayudar a decidir al juez

D

#10 y quién se responsabiliza, en caso de negligencia?

a

#13 Nadie. Los jueces no se hacen responsables de sus decisiones.

AlvaroLab

#8 Si te interesa el tema, el último libro de Daniel Kahneman, "Noise", trata el asunto en profundidad.

D

#8 Pues yo creo que en algunos casos sería mejor que un juez humano.

D

Pues que no se determine por raza.

a

#16 Suprimir datos no va a cambiar los resultados. Si los cambia, no será necesariamente en el sentido que se espera.

https://behaviouraleconomics.pmc.gov.au/sites/default/files/projects/unconscious-bias.pdf

"introducing deidentification would have the unintended consequence of setting back efforts to promote more diversity"

a

#6 goto #18

Dr.PepitoGrillo

#16 #18

- Caballero, dada su patología se estima que tiene usted una probabilidad de vida de tres meses

- No me diga usted eso doctor

- De acuerdo, no se lo digo

Nobby

#16 que conste que no soy partidario de suprimir ningún dato, la realidad es la que es y la estadística es la que es...

m

#5: Pero también habría que ver si las costumbres típicas de los negros o de los que viven en barrios pobres pueden influir.

Algo en plan "¿Prefieres juntarte con los amigos en el parque, o acudes al club de campo a montar a caballo?", es una pregunta que puede acabar infiriendo que vas a cometer delitos aunque no sea así.

D

Las predicciones estadísticamente solidas que genera el modelo, que acierta más que cualquier persona, no nos gustan. Es realista, no racista. Pero no queremos nada que nos muestre que la realidad empirica no coincide con nuestra realidad alternativa. Preferimos Yupiworld.

jonolulu

Probablemente no por discriminación del algoritmo, sino de toda la sociedad, haya más porcentaje de negros en la pobreza. El problema de fondo.

Gry

#4 #6 no consideran la raza, por eso falla.

Parece que en igualdad de condiciones es menos probable que reincida un negro que un blanco.

Es interesante como tratando de entrenar la IA de forma neutral respecto a la raza se las ha apañado para discriminar igual y encima hacerlo de forma errónea.

s

#14 es que el problema es la elección de las variables.

Seguro que han quitado la raza, pero dudo que hayan quitado todo el resto de condicionantes sociales de los entornos donde viven esas personas.

No es una variable, son muchas. Y me atrevo a afirmar que si sabes elegir unas u otras condicionas el resultado a voluntad.

Es lo que tienen las ciencias sociales, SÍ son ciencias, pero lo que estudian no se puede modelar ni estudiar de forma replicable sin que el experimento sea extraordinariamente grande, complejo, caro y, probablemente, inmoral.

s

NO van perfeccionando el algoritmo. Utilizan el mismo (o los mismos conjuntos que son algoritmos de redes neuronales). Lo que perfeccionan es el conocimiento que este procesa que si está sesgado las salidas son sesgadas

banyan

No tomar ese parámetro, por otro lado, el algoritmo es especular, refleja los inputs. 🍃

c

Tan sencillo como no considerar la variable raza en el algoritmo.

Shinu

#6 Ese es precisamente el problema: la raza no se tiene cuenta (el algoritmo no la sabe), por eso es difícil de "corregir".

Shinu

#27 *no se tiene en cuenta

AlvaroLab

#6 Puede suceder de distintas formas... por ejemplo si se utilizan códigos postales con mucha población negra o universidades de mayoría negra.

Por simplificar: si los datos usados para entrenar el algoritmo estaban sesgados, los resultados estarán sesgados.

Como todo, según los datos con los que entrenes a tu predictor te saldrá de una u otra manera.

El gran problema es usarlo ciegamente o pretender que una estadística sobre poblaciones debe aplicarse a casos individuales como es un programa de reinserción. No es sólo reprogramar el sistema, es saber cuándo se debe usar y cuándo no esa técnica, y cómo.

D

Que los negros tengan realmente más probabilidades de reincidir de verdad es inconcebible por lo que veo.

Putin.es.tu.papa

Mirad como me gano un strike así de fácil....
¿Y si ponemos en marcha ese software en España a quienes discriminaría?
.... Y lo sabes.

banyan

La herramienta no nos vale, falla cuando estadísticamente y proporcionalmente se actúa mas y peor policialmediante y judicialmente contra negros que son inocentes que con blancos de igual condición. 🍃

D

No discriminan, aciertan.

F

#33 Dios, valiente comentario bajuno y de mal gusto ...