¿QUIÉN VIGILA AL ALGORITMO? Introducción. La doctrina En un anterior artículo publicado en esta revista (DE LA CUEVA, J.: “Datos, derecho y nuevas tecnologías: privacidad y publicidad”, ENSXXI, nº 77, 2018) se defendía la necesidad de que fuera público el código fuente de los programas de software utilizados por las Administraciones públicas mediante los cuales se gestiona o se controlan derechos y obligaciones de la ciudadanía.
#9:
#5 Lo que desconocía era la existencia de liberales que promuevan la opacidad de los procedimientos administrativos y judiciales promoviendo la indefensión del individuo frente al estado.
Por ahí fuera, a defender un estado como brazo armado de las élites para que se repartan el estado de bienestar lo llaman de otra manera.
Pero vamos, que ya veo que en España sois multitud los seguidores de la doctrina liberal esperanzaaguirrista, que se resume en "vuestra libertad termina donde empieza mi dinero" y "el dinero público no es de nadie y este fajo lo vi yo primero".
#5 Lo que desconocía era la existencia de liberales que promuevan la opacidad de los procedimientos administrativos y judiciales promoviendo la indefensión del individuo frente al estado.
Por ahí fuera, a defender un estado como brazo armado de las élites para que se repartan el estado de bienestar lo llaman de otra manera.
Pero vamos, que ya veo que en España sois multitud los seguidores de la doctrina liberal esperanzaaguirrista, que se resume en "vuestra libertad termina donde empieza mi dinero" y "el dinero público no es de nadie y este fajo lo vi yo primero".
De todos modos, son varios los gobiernos que están empezando a utilizar Git como fuente de autoridad para sus leyes. E incluso en algunos de ellos admiten pull requests de los ciudadanos.
#14 Debería ser obvio que el algoritmo que aplica un juez, es decir la ley, debe ser vigilada por jueces... Qué quieres que te diga, la doctrina de la separación de poderes suele reservar ese derecho al poder legislativo, no al judicial.
Pero vamos, que si quieres seguir diciendo tonterías, adelante. Es el sino de los liberales
#5 Si, te refieres a la acepción extranjera anglosajona de la palabra libertario, tienes razón.
En esta tierra libertario, significa anarquista: Democracia directa, autogestión y bienes comunales.
Lo que ha existido en toda la tierra hasta la llegada del estado.
Aquí por ejemplo: Batzarre, auzolan y bienes comunales.
Concejo, hacendera y comunal.
#23 Te lo explico otra vez: "libertarian" en inglés y libertario en español son dos palabras distintas. Por muy parecidas que te suenen significan cosas distintas.
- Libertarian en inglés significa liberal en español.
- Libertario en español significa "punky que no ha abierto un libro de economía en su vida".
#27 menuda inculta y adoctrinado en doctrinas terroristas extranjeras.
Es normal que tú familia repudie de ti.
Los anarcocapitslista, los limpiasables de los banqueros asesinos, y tú seguro que eres pobre.
Me parto, estudia
¿Desde cuándo los jueces o instructores se dedican a auditar código privativo y ofuscado?
Para llegar remotamente a eso, primero toda la infraestructura de los sistemas usados en las AAPP debería funcionar por ley con SL, tener acceso al código en producción, dotarles de equipos de ingenieros... Y estamos muuuuuy lejos de eso.
#3 Ahora veremos sentado en el banquillo de los acusados algoritmos IA cuestionados por sus decisiones. Se me ocurre que solo con los GPS ya no darian a basto
Esto se arregla fácil https://publiccode.eu/ dinero publico, código público. La FSFE lleva años pidiéndolo, hay que darle caña a estas cosas. Y el que se avergüence de lo que programa que se vaya a la privada
#11 Sí, están muy relacionadas: la que enlazas es el anuncio de que desde Civio íbamos a juicio para conseguir el código fuente. El artículo en la revista de El Notario del Siglo XXI desarrolla más los argumentos legales, una vez que el Abogado del Estado ha presentado su escrito diciendo por qué no nos quieren dar el código.
Javier de la Cueva sigue confundiendo Código fuente con Algoritmo.
Y así, diluye la cuestión, con una querencia administrativa, y con otra batalla diferente, que es el uso del Open Source en la administración pública. Más política.
Y en Civio, siguen confundiendo los parámetros, o umbrales de la concesión de las ayudas, que se modifican a voluntad del técnico, con el producto final de "El algoritmo".
Cuando se hacen las preguntas equivocadas, y se abre una causa política...
#36 ¿Lo he expresado de forma poco clara en el comentario?
Los criterios de concesión de las ayudas varían, según la aprobación de esas ayudas en los presupuestos, anualmente, y por otras consideraciones de cualquier índole.
Esos nuevos criterios se ajustan con parámetros introducidos manualmente, ajustando los umbrales para la concesión de esas ayudas.
Esa es la razón de que los resultados difieran aplicando el algoritmo. El código fuente no permite conocer los parámetros introducidos.
#39 personalmente, yo no entendía tu comentario inicial, perdona si te he molestado que te preguntara.
Ahora que aportas más detalles, debo decir que te equivocas en tus explicaciones sobre cómo funciona la aplicación desarrollada por el ministerio. Primero, los umbrales no son fijados por un “técnico” anónimo “manualmente”, sino que vienen explicitados en el Real Decreto-ley que da lugar al bono social. Esos límites se trasladan a la especificación de la aplicación. Segundo, hemos demostrado que en el proceso de convertir esa especificación a código se han introducido errores: en concreto, se decía a algunos beneficiarios que no se podía procesar su solicitud por no disponer de información cuando no daban derecho a consultar su renta, cuando tenían derecho en cualquier caso (por ser familia numerosa, por ejemplo). Este error no tiene nada que ver con ningún umbral. Es una mala implementación del algoritmo especificado en el Real Decreto-ley. Y por eso pedimos el código fuente, para poder verificar que no hay más errores en la implementación.
#42 (...) Los umbrales (.....) vienen explicitados en el Real Decreto-leyvienen explicitados en el Real Decreto-ley que da lugar al bono social. Esos límites se trasladan a la especificación de la aplicación.
Sí, el Real Decreto 897/2017, en su Articulo 3, donde se define la figura de consumidor vulnerable, pero que no ofrece ningún método de ponderación para la aplicación, que se revisa anualmente, como así sucede en el Real Decreto-ley 15/2018, de 5 de octubre, donde se vuelven a modificar las condiciones de acceso al bono social, y dónde sí se especifican los nuevos "parámetros" revisados este mismo año, en el Anexo I, "Metodología para el cálculo de la cuantía de la ayuda del Bono Social Térmico" como por ejemplo, determinar la cuantía de la prestación según las seis zonas climáticas definidas en el mismo y en el Código Técnico de Edificación, con lo que, el mismo consumidor en diferente intervalo de SCI (Severidad Climática) percibirá una ayuda diferente; "La ayuda correspondiente a un consumidor vulnerable severo o en riesgo de exclusión social será un 60 % superior a la asignada en su zona climática a un consumidor vulnerable." (Sic) con lo que incluso podría no percibir esa ayuda, dependiendo de su nivel de renta y zona climática.
Todos esos cálculos se modifican periódicamente, con un máximo de 4 años entre cada revisión, exactamente igual que se revisa el IPREM todos los años y, el algoritmo hace una ponderación aritmética, que sí es modificable, y otorga un un umbral mínimo para percibir las ayudas del bono social.
El algoritmo funciona de acuerdo al cálculo que se efectúa, pero es evidente que si se dejan de introducir datos, como el nivel de renta, no se puede establecer el grado de protección y la cuantía de ayuda correspondiente. Eso es hacer un uso torticero de la aplicación, impidiendo el correcto funcionamiento de la misma. ( y me gustaría ver la solidez administrativa de un argumento de ese cariz)
De igual forma, los operadores de la aplicación, las personas que determinan el umbral de aptitud para las ayudas, y el uso que se hace del calculo de esos umbrales mínimos fijados en la formula "el algoritmo", pueden impedir el acceso a las ayudas y, no, no tiene nada que ver con el código fuente de la aplicación. Sino con el uso del resultado del calculo de ese algoritmo y el umbral de acceso que fija la aplicación.
Aunque el algoritmo no tenga un "Decision BIAS" implícito, el umbral del acceso a las ayudas tras ese cálculo, sí se puede alterar por la comercializadora, por ejemplo. Y es probablemente lo que está sucediendo, y la razón por la que se os ha facilitado el algoritmo y el mismo está documentado.
Y otra vez más, el código fuente no tiene porque revelar nada sobre ello. Creo que hay un documento de la UE por ahí, aclarando este tipo de sesgo en la transparencia de los algoritmos, de carácter humano y debido a los operadores de la aplicación, no de su desarrollo. --»
Bueno, a lo mejor en #24 no me expliqué bien. Si las consultoras tuvieran que publicar el código fuente de sus aplicaciones, se les acabaría el chollo, porque ya no podrían contratar kamikazes. Y programadores buenos hay pocos. Muy pocos.
No es una cuestión de seguridad. Cualquier software se puede romper. Es cuestión de no llevarse las manos a la cabeza al examinar el código fuente. Casi ninguna empresa privada querría mostrar lo que guarda en la nevera.
#6 Ahí explicábamos que habíamos encontrado un error en la especificación del programa que verifica los requisitos para acceder al bono social. La especificación sí la conseguimos en Civio después de pelear bastante una solicitud de información. El artículo en este hilo es sobre los argumentos jurídicos del juicio en el que estamos pidiendo también acceso al código fuente.
Si si si al fin nos ponemos con temas importantes. Código libre o fuera de la adm pública. Así de fácil. Ni derecho de autor ni ostias. Si no se puede comprobar NO ES CONFIABLE y no lo queremos. La tecnología nos trae de vuelta la comunismo. Pero ahora basado en tecnología libre. Hora de despertar.
#43 Va de derechos. No somos conscientes de la importancia y el alcance de la informática. Con el software libre los ciudadanos podemos fiscalizar algo que cada vez controla más aspectos de nuestra vida cotidiana.
Comentarios
Algo muy muy peligroso 🔥
#4 Tienes que saber que no todos los liberales somos anarco-capitalistas.
#5 Lo que desconocía era la existencia de liberales que promuevan la opacidad de los procedimientos administrativos y judiciales promoviendo la indefensión del individuo frente al estado.
Por ahí fuera, a defender un estado como brazo armado de las élites para que se repartan el estado de bienestar lo llaman de otra manera.
Pero vamos, que ya veo que en España sois multitud los seguidores de la doctrina liberal esperanzaaguirrista, que se resume en "vuestra libertad termina donde empieza mi dinero" y "el dinero público no es de nadie y este fajo lo vi yo primero".
#9 Defender que sea un algoritmo el que haga de juez no significa defender que ese algoritmo sea secreto.
¡Debería ser obvio!
#14 #9 me imagino que en un futuro el pleno del congreso de los diputados será para aplicar los pull request/merge requests
#15 Habrá que votar haciendo git blame
De todos modos, son varios los gobiernos que están empezando a utilizar Git como fuente de autoridad para sus leyes. E incluso en algunos de ellos admiten pull requests de los ciudadanos.
#14 Debería ser obvio que el algoritmo que aplica un juez, es decir la ley, debe ser vigilada por jueces... Qué quieres que te diga, la doctrina de la separación de poderes suele reservar ese derecho al poder legislativo, no al judicial.
Pero vamos, que si quieres seguir diciendo tonterías, adelante. Es el sino de los liberales
#5 Si, te refieres a la acepción extranjera anglosajona de la palabra libertario, tienes razón.
En esta tierra libertario, significa anarquista: Democracia directa, autogestión y bienes comunales.
Lo que ha existido en toda la tierra hasta la llegada del estado.
Aquí por ejemplo: Batzarre, auzolan y bienes comunales.
Concejo, hacendera y comunal.
#23 Te lo explico otra vez: "libertarian" en inglés y libertario en español son dos palabras distintas. Por muy parecidas que te suenen significan cosas distintas.
- Libertarian en inglés significa liberal en español.
- Libertario en español significa "punky que no ha abierto un libro de economía en su vida".
#27 menuda inculta y adoctrinado en doctrinas terroristas extranjeras.
Es normal que tú familia repudie de ti.
Los anarcocapitslista, los limpiasables de los banqueros asesinos, y tú seguro que eres pobre.
Me parto, estudia
#27 En inglés americano. Tú podrías abrir algún libro más...
Relacionada
Llega el juez artificial: imparcial, eficiente y rápido
Llega el juez artificial: imparcial, eficiente y r...
noticiasdelaciencia.com#1 ¿QUIÉN VIGILA AL ALGORITMO?
#3 Vamos, que el estado...![:roll: roll](https://cdn.mnmstatic.net/v_149/img/menemojis/36/roll.gif)
Si es que no falla... Cuando se enteren por ahí fuera a lo que llamáis "liberal" en España
#3 osea nadie.
#3 Y quien vigila a esos jueces?
#12 ¿Y quién vigila a cualquier juez en cualquier sistema judicial?
#13 ahí quería yo llegar
#3 FALSO.
¿Desde cuándo los jueces o instructores se dedican a auditar código privativo y ofuscado?
Para llegar remotamente a eso, primero toda la infraestructura de los sistemas usados en las AAPP debería funcionar por ley con SL, tener acceso al código en producción, dotarles de equipos de ingenieros... Y estamos muuuuuy lejos de eso.
#3 Ahora veremos sentado en el banquillo de los acusados algoritmos IA cuestionados por sus decisiones. Se me ocurre que solo con los GPS ya no darian a basto
Esto se arregla fácil https://publiccode.eu/ dinero publico, código público. La FSFE lleva años pidiéndolo, hay que darle caña a estas cosas. Y el que se avergüence de lo que programa que se vaya a la privada
También esta parece que dice lo mismo: Que se nos regule mediante código fuente o algoritmos secretos es algo que jamás debe permitirse en un Estado de Derecho
Que se nos regule mediante código fuente o algorit...
civio.es#7 La verdad es que está muy relacionada, pero no la veo duplicada (aunque desarrollen la misma temática).
#11 Sí, están muy relacionadas: la que enlazas es el anuncio de que desde Civio íbamos a juicio para conseguir el código fuente. El artículo en la revista de El Notario del Siglo XXI desarrolla más los argumentos legales, una vez que el Abogado del Estado ha presentado su escrito diciendo por qué no nos quieren dar el código.
No sé si un algoritmo podría hacerlo peor que nuestros políticos y economistas, yo creo que ni una tostadora podría hacerlo peor.
Javier de la Cueva sigue confundiendo Código fuente con Algoritmo.
Y así, diluye la cuestión, con una querencia administrativa, y con otra batalla diferente, que es el uso del Open Source en la administración pública. Más política.
Y en Civio, siguen confundiendo los parámetros, o umbrales de la concesión de las ayudas, que se modifican a voluntad del técnico, con el producto final de "El algoritmo".
Cuando se hacen las preguntas equivocadas, y se abre una causa política...
#21 Si crees que estamos confundiendo algo, estaríamos encantados de hablar, gracias.
#36 ¿Lo he expresado de forma poco clara en el comentario?
Los criterios de concesión de las ayudas varían, según la aprobación de esas ayudas en los presupuestos, anualmente, y por otras consideraciones de cualquier índole.
Esos nuevos criterios se ajustan con parámetros introducidos manualmente, ajustando los umbrales para la concesión de esas ayudas.
Esa es la razón de que los resultados difieran aplicando el algoritmo. El código fuente no permite conocer los parámetros introducidos.
¿Qué es lo que no se entiende?
#39 personalmente, yo no entendía tu comentario inicial, perdona si te he molestado que te preguntara.
Ahora que aportas más detalles, debo decir que te equivocas en tus explicaciones sobre cómo funciona la aplicación desarrollada por el ministerio. Primero, los umbrales no son fijados por un “técnico” anónimo “manualmente”, sino que vienen explicitados en el Real Decreto-ley que da lugar al bono social. Esos límites se trasladan a la especificación de la aplicación. Segundo, hemos demostrado que en el proceso de convertir esa especificación a código se han introducido errores: en concreto, se decía a algunos beneficiarios que no se podía procesar su solicitud por no disponer de información cuando no daban derecho a consultar su renta, cuando tenían derecho en cualquier caso (por ser familia numerosa, por ejemplo). Este error no tiene nada que ver con ningún umbral. Es una mala implementación del algoritmo especificado en el Real Decreto-ley. Y por eso pedimos el código fuente, para poder verificar que no hay más errores en la implementación.
#42 (...) Los umbrales (.....) vienen explicitados en el Real Decreto-leyvienen explicitados en el Real Decreto-ley que da lugar al bono social. Esos límites se trasladan a la especificación de la aplicación.
Sí, el Real Decreto 897/2017, en su Articulo 3, donde se define la figura de consumidor vulnerable, pero que no ofrece ningún método de ponderación para la aplicación, que se revisa anualmente, como así sucede en el Real Decreto-ley 15/2018, de 5 de octubre, donde se vuelven a modificar las condiciones de acceso al bono social, y dónde sí se especifican los nuevos "parámetros" revisados este mismo año, en el Anexo I, "Metodología para el cálculo de la cuantía de la ayuda del Bono Social Térmico" como por ejemplo, determinar la cuantía de la prestación según las seis zonas climáticas definidas en el mismo y en el Código Técnico de Edificación, con lo que, el mismo consumidor en diferente intervalo de SCI (Severidad Climática) percibirá una ayuda diferente; "La ayuda correspondiente a un consumidor vulnerable severo o en riesgo de exclusión social será un 60 % superior a la asignada en su zona climática a un consumidor vulnerable." (Sic) con lo que incluso podría no percibir esa ayuda, dependiendo de su nivel de renta y zona climática.
Todos esos cálculos se modifican periódicamente, con un máximo de 4 años entre cada revisión, exactamente igual que se revisa el IPREM todos los años y, el algoritmo hace una ponderación aritmética, que sí es modificable, y otorga un un umbral mínimo para percibir las ayudas del bono social.
El algoritmo funciona de acuerdo al cálculo que se efectúa, pero es evidente que si se dejan de introducir datos, como el nivel de renta, no se puede establecer el grado de protección y la cuantía de ayuda correspondiente. Eso es hacer un uso torticero de la aplicación, impidiendo el correcto funcionamiento de la misma. ( y me gustaría ver la solidez administrativa de un argumento de ese cariz)
De igual forma, los operadores de la aplicación, las personas que determinan el umbral de aptitud para las ayudas, y el uso que se hace del calculo de esos umbrales mínimos fijados en la formula "el algoritmo", pueden impedir el acceso a las ayudas y, no, no tiene nada que ver con el código fuente de la aplicación. Sino con el uso del resultado del calculo de ese algoritmo y el umbral de acceso que fija la aplicación.
Aunque el algoritmo no tenga un "Decision BIAS" implícito, el umbral del acceso a las ayudas tras ese cálculo, sí se puede alterar por la comercializadora, por ejemplo. Y es probablemente lo que está sucediendo, y la razón por la que se os ha facilitado el algoritmo y el mismo está documentado.
Y otra vez más, el código fuente no tiene porque revelar nada sobre ello. Creo que hay un documento de la UE por ahí, aclarando este tipo de sesgo en la transparencia de los algoritmos, de carácter humano y debido a los operadores de la aplicación, no de su desarrollo. --»
https://en.wikipedia.org/wiki/Right_to_explanation
https://www.boe.es/buscar/act.php?id=BOE-A-2017-11505
¿Ya?
El problema es que hacer público el código fuente obligaría a las consultoras a contratar buenos programadores. A ver quién se atreve.
#24 Es lo primero que he pensado: código fuente abierto significa que encontrarán decenas de formas de hackear el sistema.
#29: Es que incluso puede que esos "bugs" se pongan a propósito.
Bueno, a lo mejor en #24 no me expliqué bien. Si las consultoras tuvieran que publicar el código fuente de sus aplicaciones, se les acabaría el chollo, porque ya no podrían contratar kamikazes. Y programadores buenos hay pocos. Muy pocos.
No es una cuestión de seguridad. Cualquier software se puede romper. Es cuestión de no llevarse las manos a la cabeza al examinar el código fuente. Casi ninguna empresa privada querría mostrar lo que guarda en la nevera.
¿No dice lo mismo que aplicacion-bono-social-gobierno-niega-ayuda-personas-tienen-ella?
#6 Ahí explicábamos que habíamos encontrado un error en la especificación del programa que verifica los requisitos para acceder al bono social. La especificación sí la conseguimos en Civio después de pelear bastante una solicitud de información. El artículo en este hilo es sobre los argumentos jurídicos del juicio en el que estamos pidiendo también acceso al código fuente.
Si si si al fin nos ponemos con temas importantes. Código libre o fuera de la adm pública. Así de fácil. Ni derecho de autor ni ostias. Si no se puede comprobar NO ES CONFIABLE y no lo queremos. La tecnología nos trae de vuelta la comunismo. Pero ahora basado en tecnología libre. Hora de despertar.
Siguen disparando balas de goma apuntando a los ojos para mutilar a la gente, como para exigir que nos revelen esos algoritmos...
Por supuesto, siempre hay que seguir tratando de que lo hagan, aunque sea difícil.
#22 El simbolo deberia darte una pista.
Donde este un buen rey, que se quiten los algoritmos.
#16 son todos dictadores y vienen a hacer negocio propio. Eso k dices no existe.
#45 Yo llevo usando y promoviendo el software libre desde que Linux todavía no llegaba a la versión 1 (empecé con 0.algo, no me acuerdo).
Sin embargo soy consciente de que usar software libre no es un derecho.
el homínido mecerá derechos cuando los peleé en las calles, antes no, y no hay otra
Últimamente parece que es un deporte inventarse derechos...
#18 Estoy de acuerdo. Asco de perroflautas que quieren derecho de reunión y ese tipo de libertinajes.
#38 No va de reuniones este artículo...
#43 Va de derechos. No somos conscientes de la importancia y el alcance de la informática. Con el software libre los ciudadanos podemos fiscalizar algo que cada vez controla más aspectos de nuestra vida cotidiana.
El algoritmo como excusa
no, es mucho mejor ser gobernados por personas de mierda como los políticos completamente inútiles que tenemos no? Si es que algunos no pensais.
(Esto iba en otro hilo)