Portada
mis comunidades
otras secciones
#1:
El algoritmo de recorte de fotos de Twitter favorece a las mujeres jóvenes y delgadas
Los hallazgos surgieron de un excepcional concurso para identificar la falta de equidad en los algoritmos, similar a la búsqueda de errores de seguridad.
En mayo, Twitter dijo que dejaría de utilizar un algoritmo de inteligencia artificial que favorecía los rostros blancos y femeninos al recortar automáticamente las imágenes.
Ahora, un excepcional concurso para escrutar un programa de IA en busca de malos comportamientos ha descubierto que el mismo algoritmo, que identifica las zonas más importantes de una imagen, también discrimina por edad y peso, y favorece los textos en inglés y otros idiomas occidentales.
La entrada más destacada, aportada por Bogdan Kulynych, estudiante de postgrado en seguridad informática de la EPFL (Suiza), muestra cómo el algoritmo de captura de imágenes de Twitter favorece a las personas más delgadas y de aspecto más joven. Kulynych utilizó una técnica de deepfake para autogenerar diferentes rostros y luego probó el algoritmo de recorte para ver cómo respondía.
"Básicamente, cuanto más delgada, joven y femenina sea una imagen, más se verá favorecida", dice Patrick Hall, científico principal de BNH, una empresa que se dedica a la consultoría de IA. Fue uno de los cuatro jueces del concurso.
Un segundo juez, Ariel Herbert-Voss, investigador de seguridad de OpenAI, dice que los sesgos encontrados por los participantes reflejan los sesgos de los humanos que aportaron los datos utilizados para entrenar el modelo. Pero añade que las entradas muestran cómo un análisis exhaustivo de un algoritmo podría ayudar a los equipos de producto a erradicar los problemas de sus modelos de IA. "Es mucho más fácil arreglarlo si alguien dice: 'Oye, esto es malo'".
"Básicamente, cuanto más delgada, joven y femenina sea una imagen, más se verá favorecida".
—Patrick hall, científico principal, bnh, y juez del concurso de sesgos
El "reto de recompensa por sesgo del algoritmo", celebrado la semana pasada en Defcon, una conferencia de seguridad informática en Las Vegas, sugiere que dejar que investigadores externos examinen los algoritmos en busca de un mal comportamiento podría ayudar a las empresas a erradicar los problemas antes de que causen un daño real.
Al igual que algunas empresas, como Twitter, animan a los expertos a buscar fallos de seguridad en su código ofreciendo recompensas por explotaciones específicas, algunos expertos en IA creen que las empresas deberían dar acceso a los algoritmos y datos que utilizan a personas ajenas a ellas para detectar los problemas.
"Es realmente emocionante ver cómo se explora esta idea, y estoy seguro de que veremos más", dice Amit Elazari, director de política global de ciberseguridad en Intel y profesor de la UC Berkeley, que ha sugerido utilizar el enfoque de recompensas por errores para erradicar el sesgo de la IA. Dice que la búsqueda de sesgos en la IA "puede beneficiarse de la potenciación de la multitud".
En septiembre, un estudiante canadiense llamó la atención sobre el modo en que el algoritmo de Twitter recortaba las fotos. El algoritmo estaba diseñado para centrarse en los rostros, así como en otras áreas de interés, como el texto, los animales o los objetos. Pero el algoritmo solía favorecer los rostros blancos y las mujeres en las imágenes en las que aparecían varias personas. La Twitteresfera no tardó en encontrar otros ejemplos del sesgo que mostraba un sesgo racial y de género.
En el concurso de recompensas de la semana pasada, Twitter puso a disposición de los participantes el código del algoritmo de captación de imágenes y ofreció premios a los equipos que demostraran otros comportamientos perjudiciales.
Otros descubrieron otros sesgos. Uno de ellos demostró que el algoritmo tenía un sesgo contra las personas con pelo blanco. Otro reveló que el algoritmo favorece el texto latino frente a la escritura árabe, lo que le confiere un sesgo occidentalista.
Hall, de BNH, cree que otras empresas seguirán el enfoque de Twitter. "Creo que hay alguna esperanza de que esto despegue", dice. "Debido a la inminente regulación, y porque el número de incidentes de sesgo de IA está aumentando".
En los últimos años, gran parte del revuelo en torno a la IA se ha visto agriado por ejemplos de la facilidad con la que los algoritmos pueden codificar sesgos. Se ha demostrado que los algoritmos comerciales de reconocimiento facial discriminan por raza y género, se ha descubierto que el código de procesamiento de imágenes muestra ideas sexistas, y se ha demostrado que un programa que juzga la probabilidad de reincidencia de una persona está sesgado contra los acusados negros.
El problema está resultando difícil de erradicar. Identificar la imparcialidad no es sencillo, y algunos algoritmos, como los que se utilizan para analizar las radiografías médicas, pueden interiorizar los prejuicios raciales de un modo que los humanos no pueden detectar fácilmente.
"Uno de los mayores problemas a los que nos enfrentamos -y a los que se enfrentan todas las empresas y organizaciones- cuando pensamos en determinar el sesgo en nuestros modelos o en nuestros sistemas es cómo escalar esto", dice Rumman Chowdhury, director del grupo de Ética, Transparencia y Responsabilidad en ML de Twitter.
Chowdhury se incorporó a Twitter en febrero. Anteriormente había desarrollado varias herramientas para examinar los algoritmos de aprendizaje automático en busca de sesgos, y fundó Parity, una startup que evalúa los riesgos técnicos y legales que plantean los proyectos de IA. Dice que se le ocurrió la idea de una recompensa por sesgo algorítmico después de asistir a Defcon hace dos años.
Chowdhury dice que Twitter podría abrir sus algoritmos de recomendación al análisis, también, en algún momento, aunque dice que eso requeriría mucho más trabajo porque incorporan varios modelos de IA. "Sería realmente fascinante hacer una competición sobre el sesgo a nivel de sistemas", dice.
Elazari, de Intel, dice que las recompensas por sesgo son fundamentalmente diferentes de las recompensas por errores porque requieren acceso a un algoritmo. "Una evaluación de este tipo podría ser incompleta, potencialmente, si no se tiene acceso a los datos subyacentes o al código", afirma.
Esto plantea la cuestión de obligar a las empresas a examinar sus algoritmos o a revelar dónde se utilizan. Hasta ahora solo ha habido unos pocos esfuerzos para regular la IA en cuanto a posibles sesgos. Por ejemplo, la ciudad de Nueva York ha propuesto exigir a los empleadores que revelen cuándo utilizan la IA para seleccionar a los candidatos a un puesto de trabajo y que investiguen sus programas para evitar la discriminación. La Unión Europea también ha propuesto una amplia normativa que exigiría un mayor escrutinio de los algoritmos de IA.
En abril de 2020, la Comisión Federal de Comercio pidió a las empresas que informaran a los clientes sobre cómo les afectan los modelos de IA; un año más tarde señaló que podría "responsabilizar a las empresas" si no revelan los usos de la IA y mitigan los sesgos.
Los hallazgos surgieron de un excepcional concurso para identificar la falta de equidad en los algoritmos, similar a la búsqueda de errores de seguridad.
En mayo, Twitter dijo que dejaría de utilizar un algoritmo de inteligencia artificial que favorecía los rostros blancos y femeninos al recortar automáticamente las imágenes.
Ahora, un excepcional concurso para escrutar un programa de IA en busca de malos comportamientos ha descubierto que el mismo algoritmo, que identifica las zonas más importantes de una imagen, también discrimina por edad y peso, y favorece los textos en inglés y otros idiomas occidentales.
La entrada más destacada, aportada por Bogdan Kulynych, estudiante de postgrado en seguridad informática de la EPFL (Suiza), muestra cómo el algoritmo de captura de imágenes de Twitter favorece a las personas más delgadas y de aspecto más joven. Kulynych utilizó una técnica de deepfake para autogenerar diferentes rostros y luego probó el algoritmo de recorte para ver cómo respondía.
"Básicamente, cuanto más delgada, joven y femenina sea una imagen, más se verá favorecida", dice Patrick Hall, científico principal de BNH, una empresa que se dedica a la consultoría de IA. Fue uno de los cuatro jueces del concurso.
Un segundo juez, Ariel Herbert-Voss, investigador de seguridad de OpenAI, dice que los sesgos encontrados por los participantes reflejan los sesgos de los humanos que aportaron los datos utilizados para entrenar el modelo. Pero añade que las entradas muestran cómo un análisis exhaustivo de un algoritmo podría ayudar a los equipos de producto a erradicar los problemas de sus modelos de IA. "Es mucho más fácil arreglarlo si alguien dice: 'Oye, esto es malo'".
"Básicamente, cuanto más delgada, joven y femenina sea una imagen, más se verá favorecida".
—Patrick hall, científico principal, bnh, y juez del concurso de sesgos
El "reto de recompensa por sesgo del algoritmo", celebrado la semana pasada en Defcon, una conferencia de seguridad informática en Las Vegas, sugiere que dejar que investigadores externos examinen los algoritmos en busca de un mal comportamiento podría ayudar a las empresas a erradicar los problemas antes de que causen un daño real.
Al igual que algunas empresas, como Twitter, animan a los expertos a buscar fallos de seguridad en su código ofreciendo recompensas por explotaciones específicas, algunos expertos en IA creen que las empresas deberían dar acceso a los algoritmos y datos que utilizan a personas ajenas a ellas para detectar los problemas.
"Es realmente emocionante ver cómo se explora esta idea, y estoy seguro de que veremos más", dice Amit Elazari, director de política global de ciberseguridad en Intel y profesor de la UC Berkeley, que ha sugerido utilizar el enfoque de recompensas por errores para erradicar el sesgo de la IA. Dice que la búsqueda de sesgos en la IA "puede beneficiarse de la potenciación de la multitud".
En septiembre, un estudiante canadiense llamó la atención sobre el modo en que el algoritmo de Twitter recortaba las fotos. El algoritmo estaba diseñado para centrarse en los rostros, así como en otras áreas de interés, como el texto, los animales o los objetos. Pero el algoritmo solía favorecer los rostros blancos y las mujeres en las imágenes en las que aparecían varias personas. La Twitteresfera no tardó en encontrar otros ejemplos del sesgo que mostraba un sesgo racial y de género.
En el concurso de recompensas de la semana pasada, Twitter puso a disposición de los participantes el código del algoritmo de captación de imágenes y ofreció premios a los equipos que demostraran otros comportamientos perjudiciales.
Otros descubrieron otros sesgos. Uno de ellos demostró que el algoritmo tenía un sesgo contra las personas con pelo blanco. Otro reveló que el algoritmo favorece el texto latino frente a la escritura árabe, lo que le confiere un sesgo occidentalista.
Hall, de BNH, cree que otras empresas seguirán el enfoque de Twitter. "Creo que hay alguna esperanza de que esto despegue", dice. "Debido a la inminente regulación, y porque el número de incidentes de sesgo de IA está aumentando".
En los últimos años, gran parte del revuelo en torno a la IA se ha visto agriado por ejemplos de la facilidad con la que los algoritmos pueden codificar sesgos. Se ha demostrado que los algoritmos comerciales de reconocimiento facial discriminan por raza y género, se ha descubierto que el código de procesamiento de imágenes muestra ideas sexistas, y se ha demostrado que un programa que juzga la probabilidad de reincidencia de una persona está sesgado contra los acusados negros.
El problema está resultando difícil de erradicar. Identificar la imparcialidad no es sencillo, y algunos algoritmos, como los que se utilizan para analizar las radiografías médicas, pueden interiorizar los prejuicios raciales de un modo que los humanos no pueden detectar fácilmente.
"Uno de los mayores problemas a los que nos enfrentamos -y a los que se enfrentan todas las empresas y organizaciones- cuando pensamos en determinar el sesgo en nuestros modelos o en nuestros sistemas es cómo escalar esto", dice Rumman Chowdhury, director del grupo de Ética, Transparencia y Responsabilidad en ML de Twitter.
Chowdhury se incorporó a Twitter en febrero. Anteriormente había desarrollado varias herramientas para examinar los algoritmos de aprendizaje automático en busca de sesgos, y fundó Parity, una startup que evalúa los riesgos técnicos y legales que plantean los proyectos de IA. Dice que se le ocurrió la idea de una recompensa por sesgo algorítmico después de asistir a Defcon hace dos años.
Chowdhury dice que Twitter podría abrir sus algoritmos de recomendación al análisis, también, en algún momento, aunque dice que eso requeriría mucho más trabajo porque incorporan varios modelos de IA. "Sería realmente fascinante hacer una competición sobre el sesgo a nivel de sistemas", dice.
Elazari, de Intel, dice que las recompensas por sesgo son fundamentalmente diferentes de las recompensas por errores porque requieren acceso a un algoritmo. "Una evaluación de este tipo podría ser incompleta, potencialmente, si no se tiene acceso a los datos subyacentes o al código", afirma.
Esto plantea la cuestión de obligar a las empresas a examinar sus algoritmos o a revelar dónde se utilizan. Hasta ahora solo ha habido unos pocos esfuerzos para regular la IA en cuanto a posibles sesgos. Por ejemplo, la ciudad de Nueva York ha propuesto exigir a los empleadores que revelen cuándo utilizan la IA para seleccionar a los candidatos a un puesto de trabajo y que investiguen sus programas para evitar la discriminación. La Unión Europea también ha propuesto una amplia normativa que exigiría un mayor escrutinio de los algoritmos de IA.
En abril de 2020, la Comisión Federal de Comercio pidió a las empresas que informaran a los clientes sobre cómo les afectan los modelos de IA; un año más tarde señaló que podría "responsabilizar a las empresas" si no revelan los usos de la IA y mitigan los sesgos.
#12:
#3 me parece muy pueril culpar a los que lo han programado de introducir sus sesgos.
Me parece que la respuesta suele ser mucho más simple que todo eso, y en este caso será un sesgo en los datos (imágenes) usados para entrenar el algoritmo.
Selecciona fotos de personas al azar de internet y estoy seguro de que en una cantidad mayoritaria y desproporcionada de esas imágenes aparece una mujer jóven, blanca y delgada. Simplemente porque los hombres viejos y gordos asiáticos no pasan el día hacíendose fotos y subíendolas a internet.
Me parece que la respuesta suele ser mucho más simple que todo eso, y en este caso será un sesgo en los datos (imágenes) usados para entrenar el algoritmo.
Selecciona fotos de personas al azar de internet y estoy seguro de que en una cantidad mayoritaria y desproporcionada de esas imágenes aparece una mujer jóven, blanca y delgada. Simplemente porque los hombres viejos y gordos asiáticos no pasan el día hacíendose fotos y subíendolas a internet.
Comentarios
El algoritmo de recorte de fotos de Twitter favorece a las mujeres jóvenes y delgadas
Los hallazgos surgieron de un excepcional concurso para identificar la falta de equidad en los algoritmos, similar a la búsqueda de errores de seguridad.
En mayo, Twitter dijo que dejaría de utilizar un algoritmo de inteligencia artificial que favorecía los rostros blancos y femeninos al recortar automáticamente las imágenes.
Ahora, un excepcional concurso para escrutar un programa de IA en busca de malos comportamientos ha descubierto que el mismo algoritmo, que identifica las zonas más importantes de una imagen, también discrimina por edad y peso, y favorece los textos en inglés y otros idiomas occidentales.
La entrada más destacada, aportada por Bogdan Kulynych, estudiante de postgrado en seguridad informática de la EPFL (Suiza), muestra cómo el algoritmo de captura de imágenes de Twitter favorece a las personas más delgadas y de aspecto más joven. Kulynych utilizó una técnica de deepfake para autogenerar diferentes rostros y luego probó el algoritmo de recorte para ver cómo respondía.
"Básicamente, cuanto más delgada, joven y femenina sea una imagen, más se verá favorecida", dice Patrick Hall, científico principal de BNH, una empresa que se dedica a la consultoría de IA. Fue uno de los cuatro jueces del concurso.
Un segundo juez, Ariel Herbert-Voss, investigador de seguridad de OpenAI, dice que los sesgos encontrados por los participantes reflejan los sesgos de los humanos que aportaron los datos utilizados para entrenar el modelo. Pero añade que las entradas muestran cómo un análisis exhaustivo de un algoritmo podría ayudar a los equipos de producto a erradicar los problemas de sus modelos de IA. "Es mucho más fácil arreglarlo si alguien dice: 'Oye, esto es malo'".
"Básicamente, cuanto más delgada, joven y femenina sea una imagen, más se verá favorecida".
—Patrick hall, científico principal, bnh, y juez del concurso de sesgos
El "reto de recompensa por sesgo del algoritmo", celebrado la semana pasada en Defcon, una conferencia de seguridad informática en Las Vegas, sugiere que dejar que investigadores externos examinen los algoritmos en busca de un mal comportamiento podría ayudar a las empresas a erradicar los problemas antes de que causen un daño real.
Al igual que algunas empresas, como Twitter, animan a los expertos a buscar fallos de seguridad en su código ofreciendo recompensas por explotaciones específicas, algunos expertos en IA creen que las empresas deberían dar acceso a los algoritmos y datos que utilizan a personas ajenas a ellas para detectar los problemas.
"Es realmente emocionante ver cómo se explora esta idea, y estoy seguro de que veremos más", dice Amit Elazari, director de política global de ciberseguridad en Intel y profesor de la UC Berkeley, que ha sugerido utilizar el enfoque de recompensas por errores para erradicar el sesgo de la IA. Dice que la búsqueda de sesgos en la IA "puede beneficiarse de la potenciación de la multitud".
En septiembre, un estudiante canadiense llamó la atención sobre el modo en que el algoritmo de Twitter recortaba las fotos. El algoritmo estaba diseñado para centrarse en los rostros, así como en otras áreas de interés, como el texto, los animales o los objetos. Pero el algoritmo solía favorecer los rostros blancos y las mujeres en las imágenes en las que aparecían varias personas. La Twitteresfera no tardó en encontrar otros ejemplos del sesgo que mostraba un sesgo racial y de género.
En el concurso de recompensas de la semana pasada, Twitter puso a disposición de los participantes el código del algoritmo de captación de imágenes y ofreció premios a los equipos que demostraran otros comportamientos perjudiciales.
Otros descubrieron otros sesgos. Uno de ellos demostró que el algoritmo tenía un sesgo contra las personas con pelo blanco. Otro reveló que el algoritmo favorece el texto latino frente a la escritura árabe, lo que le confiere un sesgo occidentalista.
Hall, de BNH, cree que otras empresas seguirán el enfoque de Twitter. "Creo que hay alguna esperanza de que esto despegue", dice. "Debido a la inminente regulación, y porque el número de incidentes de sesgo de IA está aumentando".
En los últimos años, gran parte del revuelo en torno a la IA se ha visto agriado por ejemplos de la facilidad con la que los algoritmos pueden codificar sesgos. Se ha demostrado que los algoritmos comerciales de reconocimiento facial discriminan por raza y género, se ha descubierto que el código de procesamiento de imágenes muestra ideas sexistas, y se ha demostrado que un programa que juzga la probabilidad de reincidencia de una persona está sesgado contra los acusados negros.
El problema está resultando difícil de erradicar. Identificar la imparcialidad no es sencillo, y algunos algoritmos, como los que se utilizan para analizar las radiografías médicas, pueden interiorizar los prejuicios raciales de un modo que los humanos no pueden detectar fácilmente.
"Uno de los mayores problemas a los que nos enfrentamos -y a los que se enfrentan todas las empresas y organizaciones- cuando pensamos en determinar el sesgo en nuestros modelos o en nuestros sistemas es cómo escalar esto", dice Rumman Chowdhury, director del grupo de Ética, Transparencia y Responsabilidad en ML de Twitter.
Chowdhury se incorporó a Twitter en febrero. Anteriormente había desarrollado varias herramientas para examinar los algoritmos de aprendizaje automático en busca de sesgos, y fundó Parity, una startup que evalúa los riesgos técnicos y legales que plantean los proyectos de IA. Dice que se le ocurrió la idea de una recompensa por sesgo algorítmico después de asistir a Defcon hace dos años.
Chowdhury dice que Twitter podría abrir sus algoritmos de recomendación al análisis, también, en algún momento, aunque dice que eso requeriría mucho más trabajo porque incorporan varios modelos de IA. "Sería realmente fascinante hacer una competición sobre el sesgo a nivel de sistemas", dice.
Elazari, de Intel, dice que las recompensas por sesgo son fundamentalmente diferentes de las recompensas por errores porque requieren acceso a un algoritmo. "Una evaluación de este tipo podría ser incompleta, potencialmente, si no se tiene acceso a los datos subyacentes o al código", afirma.
Esto plantea la cuestión de obligar a las empresas a examinar sus algoritmos o a revelar dónde se utilizan. Hasta ahora solo ha habido unos pocos esfuerzos para regular la IA en cuanto a posibles sesgos. Por ejemplo, la ciudad de Nueva York ha propuesto exigir a los empleadores que revelen cuándo utilizan la IA para seleccionar a los candidatos a un puesto de trabajo y que investiguen sus programas para evitar la discriminación. La Unión Europea también ha propuesto una amplia normativa que exigiría un mayor escrutinio de los algoritmos de IA.
En abril de 2020, la Comisión Federal de Comercio pidió a las empresas que informaran a los clientes sobre cómo les afectan los modelos de IA; un año más tarde señaló que podría "responsabilizar a las empresas" si no revelan los usos de la IA y mitigan los sesgos.
Relacionada: Twitter pagará recompensas a quienes identifiquen sesgos en su algoritmo: estos son los premios (Inglés)
Twitter pagará recompensas a quienes identifiquen ...
zdnet.com#16 Si lees el artículo verás que el sesgo no viene de la interacción de los usuarios, sino de los datos con los que los programadores alimentaron la IA. La mayoría, si no todos, los sesgos de las IA proceden de los datos con los que se las entrena.
#17 "Un segundo juez, Ariel Herbert-Voss , investigador de seguridad de OpenAI , dice que los sesgos encontrados por los participantes reflejan los sesgos de los humanos que contribuyeron con los datos utilizados para entrenar el modelo."
La frase es ambigua, no sé si se refiere a programadores o a "personas normales"
El algoritmo tiene un sesgo, pero ¿es por la malicia propia del código o es porque los que han entrenado ese sistema le han pasado sus propios sesgos?, apuesto a que lo han programado hombres adultos heterosexuales.
#3 "Ariel Herbert-Voss, investigador de seguridad de OpenAI, dice que los sesgos encontrados por los participantes reflejan los sesgos de los humanos que aportaron los datos utilizados para entrenar el modelo".
#3 #5 Home, si el algoritmo busca maximizar el impacto de la foto, y la gente hace click en "la buenorra esa"... Pues lo raro es que favoreciese los cuarentones gorditos de buen corazón
#6 Eso es lo que yo pienso, que a fin de cuentas van buscando pasta.
#6 que hijos de puta
#6 Y lo bonito que es trolear algoritmos qué?
https://www.publico.es/sociedad/en-las-redes/robot-inteligencia-artificial-microsoft-vuelve.html
#5 Quizás los hombres se fijan solo en las mujeres mientras que las mujeres se fijan en los hombres y mujeres por igual. A los hombres nos suele importar menos que a las mujeres la ropa o el estilo del o la modelo.
#3 me parece muy pueril culpar a los que lo han programado de introducir sus sesgos.
Me parece que la respuesta suele ser mucho más simple que todo eso, y en este caso será un sesgo en los datos (imágenes) usados para entrenar el algoritmo.
Selecciona fotos de personas al azar de internet y estoy seguro de que en una cantidad mayoritaria y desproporcionada de esas imágenes aparece una mujer jóven, blanca y delgada. Simplemente porque los hombres viejos y gordos asiáticos no pasan el día hacíendose fotos y subíendolas a internet.
#3 No se te olvide la opción primera, que es que no existe tal sesgo, y que la inmensa mayor parte de las fotografías se corresponden a mujeres jóvenes y delgadas.
#3 una IA heteropatriarcal.
Apuesto a que mi foto queda peor que la de los modelos profesionales.
Hay un sesgo ahí!
A ver cuanto tardan algunos en decir que es discriminación positiva hacia las mujeres y las feministas cuando en realidad es utilización de mujeres como mercancía.
#8 A ver cuánto tardan en decir que es machismo cuando en realidad no sabemos a qué se debe el sesgo.
¿Solo el algoritmo de la IA favorece las imágenes a las mujeres jóvenes, delgadas y femeninas? Creo que la IA hace perfectamente su trabajo, otra cosa es que nos escandalicemos, pero es un reflejo de la sociedad.
Y el mío
Tampoco se tendrá que esforzar mucho la IA