AD 127/2022
EL SEXISMO EN LOS ALGORITMOS: LA DISCRIMINACIÓN ALGORÍTMICA DE GÉNERO
| RESUMEN
El análisis jurídico de la discriminación derivada de decisiones automatizadas que puedan provocar un impacto discriminatorio requiere combinar dos campos jurídicos: el de la protección de datos y el derecho antidiscriminatorio. En el primero los derechos reconocidos son accesorios al núcleo principal de afectación: el derecho de intervención humana y, principalmente, la explicabilidad de los algoritmos. Pero el tratamiento jurídico de la discriminación algorítmica requiere, también, dar respuesta a problemas de calificación de los sesgos en los que incurre el aprendizaje automático como resultado de las infinitas inferencias de datos que perfilan a personas en el contexto del derecho antidiscriminatorio, donde potencian su impacto discriminatorio. |
Partiendo de los conceptos tales como algoritmo, inteligencia artificial y big data se pretende analizar la afectación sobre un derecho concreto: el de no discriminación.
Estas herramientas características de la nueva Edad que estamos viviendo son instrumentos valiosísimos para cualquiera de los ámbitos sociales en los que nos desenvolvemos, y, por ende, también para el mundo de las relaciones laborales.
No obstante, el empleo que se haga de ellos puede tener efectos perniciosos para la persona y afectar a derechos tales como el de su protección de datos, su salud, integridad física, dignidad y, por supuesto, al derecho de igualdad.
La circunstancia de que los algoritmos no sean transparentes y que, por lo tanto, sea complicado desentrañar el criterio que se ha empleado para diseñar aquellos, facilita las inmisiones y lesiones a derechos fundamentales de las personas.
La aparente neutralidad, objetividad y asepsia de los mecanismos automatizados de decisión juega sin duda en contra de la tutela del derecho a la igualdad, por cuanto la técnica del aprendizaje profundo en la que consisten, a partir de los datos de alimentación por parte de algoritmos que autoaprenden de ellos e infieren conclusiones, utilizadas para asesorar decisiones, impide establecer una clara conexión entre tales datos de alimentación (macrodatos) y las conclusiones a las que llega el modelo matemático. La perversidad de este funcionamiento es, precisamente, la dificultad de conocer dónde se encuentra el sesgo de la decisión si esta es discriminatoria, y detectar el error a fin de impugnar la decisión empresarial.
Los sistemas operan en función de quién los construye, qué datos se toman en cuenta y cómo se miden, se produce lo que se conoce como sesgo algorítmico. Este término describe los errores sistemáticos y repetidos que crean resultados injustos.
Por ello, la discriminación algorítmica de género describe cómo ciertas herramientas de IA pueden tener un sesgo perjudicial contra ciertos grupos en función de su género. Con o sin intención, los sesgos existentes pueden integrarse en estos sistemas.
Dada la realidad contrastada del impacto discriminatorio del uso de IA, conviene constatar si nuestro derecho está preparado para dar respuesta satisfactoria a la protección del derecho a la igualdad y no discriminación cuando se plantea una reclamación sobre responsabilidad algorítmica. Y ello requiere analizar si el derecho vigente da respuesta a las formas de discriminación causadas por el uso de aprendizaje automático y, en particular, inferencias de datos.
El uso de mecanismos automatizados para la adopción de decisiones traslada a algoritmos de decisión las elecciones humanas, lo que comporta siempre la selección de un elemento de entre una categoría y puede incorporar arbitrariedad. La injerencia de terceros en la creación de tales criterios, junto con la autonomía del aprendizaje automático, distorsiona la forma en que se adoptan las decisiones como el modo de operar los criterios con respecto a los mecanismos humanos tradicionales. Junto a ello, pueden superponerse las indicaciones humanas para el diseño del algoritmo asumiendo el sesgo de programación. Habida cuenta de lo mencionado, los sesgos provenientes de mecanismos automatizados basados en IA, como los que operan con aprendizaje automático y macrodatos, ¿ pueden asimilarse al concepto jurídico de DISCRIMINACIÓN?
Antes de dar repuesta a lo anteriormente mencionado, debemos saber que, la discriminación algorítmica es una realidad que debe ser analizada desde una doble vertiente:
- Por una parte, como fenómeno que vulnera el principio de igualdad y los derechos fundamentales a la igualdad y a la no discriminación.
- Por otra, como uno de los múltiples daños y riesgos generados por las tecnologías de procesamiento de datos y de automatización de la toma de decisiones.
En referencia a la primera perspectiva, resulta necesario entender la construcción de las sociedades actuales sobre unas estructuras que, históricamente, han situado a las personas pertenecientes a determinados grupos en una posición de desventaja. Dichas estructuras de discriminación generan los fenómenos de discriminación estructural, sistémica o institucional que todavía hoy perviven y que sitúan a determinadas personas en una posición de desventaja y especial vulnerabilidad como consecuencia de su pertenencia a determinados grupos. La construcción de unas sociedades sesgadas (discriminatorias) tiene como resultado la creación de instituciones y productos, también los normativos, desequilibrados a favor de los grupos dominantes y su ideología. Los algoritmos, como productos creados por los seres humanos y utilizados para analizar, reflejar la realidad y tomar decisiones con respecto a la realidad que analizan, corren el riesgo de integrar e interiorizar, por una amplia serie de razones, esos mismos sesgos y estereotipos que perjudican a las personas pertenecientes a grupos desaventajados. Como forma de vulneración de los derechos a la igualdad y a la no discriminación, la discriminación algorítmica debe ser, por tanto, abordada desde el marco jurídico en materia de igualdad y no discriminación.
Sin embargo, es importante tener en cuenta que la discriminación resultante de los procesos algorítmicos, y también la perpetuación de la desigualdad que puede resultar de la automatización de los sistemas de servicios y ayudas públicas, se producen a través de un fenómeno muy específico: el creciente desarrollo e introducción de tecnologías de procesamiento de datos y de automatización de decisiones. Es por ello que la discriminación algorítmica debe ser abordada también como uno más de los riesgos y daños generados por esta clase de sistemas y en el contexto de las características específicas de las decisiones automatizadas.
Con respecto a esta segunda vertiente desde la que se debe analizar la discriminación algorítmica como fenómeno social y jurídico, es necesario subrayar la íntima relación que guardan entre sí los diferentes riesgos y afecciones a los derechos fundamentales y otros intereses públicos derivados del creciente uso de algoritmos. Así, por ejemplo, difícilmente podrán probarse los casos de discriminación algorítmica directa, esto es, la toma de una decisión discriminatoria teniendo en cuenta una categoría sospechosa, si no se tiene acceso o no se dispone de una explicación suficiente de la lógica sobre la que basa su decisión el sistema.
La aplicación del marco jurídico para la protección frente a la discriminación desarrollada en Europa se basa en las prohibiciones generales de discriminación con base en las denominadas categorías sospechosas contenidas en el Convenio Europeo de Derechos Humanos y la Carta de los Derechos Fundamentales de la UE. También el Tratado de Funcionamiento de la UE contiene diversas disposiciones en las que se reconoce la protección y promoción de la igualdad y no discriminación como derechos subjetivos de la ciudadanía de los Estados miembros de la Unión En el marco de la UE, el desarrollo específico de dichas prohibiciones se contiene en las Directivas de Igualdad que clasifican las situaciones de discriminación como discriminación directa o indirecta.
La discriminación directa puede tener lugar si, por ejemplo, un algoritmo aprende que las personas que hayan pertenecido a asociaciones de mujeres no son buenas candidatas para un puesto de trabajo simplemente porque en la base de datos de la que aprende no hay prácticamente mujeres y, por tanto, no hay prácticamente personas pertenecientes a asociaciones de mujeres. Aunque la categoría “sexo” no aparezca en el procesamiento, el sistema inferirá dicho dato de otra categoría de datos que, en realidad, no predice si una persona será buena empleada o no. Algo similar ocurrió con un algoritmo que Amazon trató de desarrollar y que terminó por descartar ya que al haber sido entrenado mayoritariamente con currículums de hombres el algoritmo llegó a la conclusión que era preferible contratar hombres que contratar mujeres, por lo que discriminaba contra personas en cuyo currículum aparecían palabras de las cuales infería que una candidata era mujer aunque estos datos no tuviesen relevancia para la predicción de la calidad como trabajadora de la persona candidata.
En los supuestos de discriminación indirecta requiere que se acredite la existencia de una disposición, práctica o criterio aparentemente neutros que produzcan efectos más perjudiciales para las personas pertenecientes al grupo protegido que a las no pertenecientes a dicho grupo. Una vez que se acredita la existencia, a primera vista, de un supuesto de discriminación indirecta como el descrito, se traslada la carga de la prueba a la parte demandada, que habrá de demostrar que no se ha vulnerado el principio de igualdad de trato.
Igual que en el caso de la discriminación directa, la prueba de la discriminación indirecta requiere de la aportación de un elemento de comparación. Puesto que la figura de la discriminación indirecta se centra en el resultado y no tanto en el trato, en ocasiones, tanto el TJUE como el Tribunal Europeo de Derechos Humanos (TEDH) han basado la existencia a primera vista de un caso de discriminación indirecta en datos estadísticos.
Además de todo lo anterior, debemos tener en cuenta el marco jurídico en materia de protección de datos para prevenir y responder de manera conjunta frente a los diferentes riesgos generados por el uso de algoritmos.
La creciente capacidad computacional de las tecnologías de procesamiento de datos y de automatización de decisiones genera una serie de riesgos para los derechos fundamentales de las personas, así como para los valores propios de los Estados democráticos de Derecho, que no se limitan, exclusivamente, a la esfera de la igualdad y no discriminación. Todos esos riesgos y daños se encuentran íntimamente relacionados entre sí. Hasta la fecha, el marco jurídico específicamente dirigido a lidiar y controlar, de manera conjunta, con los indicados riesgos y daños, viene dado por la normativa en materia de protección de datos. El RGPD y, en menor medida, la Directiva 2016/680, establecen un sistema que puede denominarse de gobernanza colaborativa o co-regulación, en el que se incluyen preceptos estructurados como mandatos y otros como meras recomendaciones o que precisan la cooperación de los responsables y encargados del tratamiento de datos para su efectividad.
Es lógico que el marco jurídico dirigido a proteger frente a los riesgos causados por las tecnologías de procesamiento de datos y la automatización de procesos parta de la protección de datos personales, estrechamente relacionada con la protección de la intimidad. Los daños causados por estos sistemas son, principalmente, el resultado de la recogida de datos de carácter personal y muchos de sus efectos tienen lugar en la esfera personal de aquellos individuos cuyos datos han sido recogidos y procesados.
Del breve análisis realizado se deduce, que tanto la normativa en materia de protección de los derechos a la igualdad y no discriminación, como en materia de protección de datos, resulta insuficiente para hacer frente a los riesgos y daños derivados del creciente uso de algoritmos y, en particular, para prevenir y lidiar con las situaciones de discriminación algorítmica.
Ainhoa Mejías
28 de noviembre de 2022
Ainhoa Mejías, Abogada especializada en Derecho Penal y económico, Fashion Law y Derecho de Familia.
Me apasiona mi trabajo, y pongo todo mi empeño y atención para dar solución a tus necesidades particulares o como persona jurídica.
La clave de nuestro trabajo es la formación continua, experiencia y actitud. Pero siempre unidas a honestidad, eficacia, discreción, cercanía y comunicación en la resolución de todos los problemas.
Tras años de litigios y experiencias sentí la necesidad de formar JAREAFRANIA BOUTIQUE LEGAL donde la cercanía y dedicación a cada cliente debía cuidarse con una atención personalizada exclusiva.
A día de hoy, atiendo a víctimas de violencia de género, asistencias al detenido, asuntos penales y económicos. Sin dejar de lado asuntos de familia en atención al interés del los menores.
