AD 42/2019
Abstract:
Los sesgos de la inteligencia artificial se están convirtiendo rápidamente en uno de los temas más discutidos en este campo. Los algoritmos todavía se perciben como procesos matemáticos objetivos, inescrutables e incuestionables que producen resultados racionales e imparciales. Sin embargo, tanto su diseño como los conjuntos de datos que se utilizan para entrenarlos pueden generar sesgos y efectos discriminatorios, tanto intencionadamente como de forma inadvertida. Este artículo explora los tres mecanismos legales que pueden ayudar a la mitigación de estos sesgos. Se trata de herramientas de autorregulación, normativa de adopción voluntaria y, por último, normas de aplicación imperativa como el proyecto de ley presentado en Estados Unidos, Algorithmic Responsability Act.
Palabras clave:
- Inteligencia artificial
- Discriminación
- Mitigaciónde riesgos
- Sesgos
- Responsabilidad
Los sesgos de la inteligencia artificial se están convirtiendo rápidamente en uno de los temas más discutidos en este campo. Los algoritmos todavía se perciben como procesos matemáticos objetivos, inescrutables e incuestionables que producen resultados racionales e imparciales. Sin embargo, no podemos perder de vista que los algoritmos son una creación de diseño humano y, por tanto, heredan nuestros prejuicios. O, mejor dicho, heredan los prejuicios de su diseñador y los sesgos intrínsecos de los datos utilizados para entrenarlos.
Con la proliferación del uso de algoritmos en más y más ámbitos de nuestra vida cotidiana esta preocupación se intensifica. Hoy en día encontramos algoritmos tomando decisiones a través de herramientas de reconocimiento facial para identificar a personas sospechosas de haber cometido un delito, sistemas de detección de enfermedades, selección de personal, concesión de préstamos o becas o recomendaciones sobre series, películas, canciones o, incluso, nuestro próximo producto favorito.
¿Qué ocurre con las empresas que no son proactivas y que no utilizan herramientas de detección de estos sesgos o con las empresas que incluyen sesgos en función del género, la raza, o la orientación sexual de forma intencionada?
Desde un punto de vista estricto, es indudable que la creación y uso de los algoritmos está sujeta, como cualquier otra actividad, al cumplimiento de los derechos fundamentales de las personas, así como de las leyes que promueven la igualdad y combaten la discriminación. Sin embargo, el desarrollo de la inteligencia artificial es un negocio global. Desafortunadamente, no todos los países comparten los mismos estándares éticos, ni defienden con la misma intensidad la protección de los derechos fundamentales de las personas. Lo que da acceso a una puerta de atrás para la creación, desarrollo y uso de herramientas impulsadas por inteligencia artificial que perpetúan patrones discriminatorios de forma deliberada. Atando nuestro futuro a nuestro peor pasado.
Los distintos estándares éticos, no son el único reto al que nos enfrentamos si queremos crear una inteligencia artificial libre de efectos discriminatorios. Muchas empresas tecnológicas consideran que sus algoritmos son lo que les diferencia de la competencia, su ventaja competitiva y por tanto los consideran secretos empresariales. Son pocas las empresas que adoptan políticas verdaderamente transparentes. Son pocas las empresas que están dispuestas a abrir sus algoritmos al control de terceros independientes. Esta falta de transparencia, combinada probablemente con una falta de medios y de personal cualificado por parte de los Estados para supervisar estas actividades, desemboca en un espacio difícil de controlar para el legislador.
¿Qué opciones tenemos para mitigar sesgos en los algoritmos?
- Autorregulación
Algunas de las grandes empresas tecnológicas, si comparten la preocupación por los efectos discriminatorios y, en general, los efectos adversos que pueden generar las herramientas de inteligencia artificial que están creado. IBM es el ejemplo perfecto de esta tendencia. Han reforzado los sistemas de detección y mitigación de sesgos como parte de sus procesos de creación y perfeccionamiento de tecnología. Este es un paso muy importante, ya que multitud de productos y servicios se alimentan de las habilidades de Watson (la herramienta desarrollada por IBM).
IBM no solo ha adoptado principios de mitigación de riesgos de aplicación interna, sino que ha creado AI Fairness 360, una herramienta a disposición de empresas y el público en general destinada a la detección de estos sesgos. El proceso de detección tiene incidencia en las 3 frases de creación de una herramienta impulsada por inteligencia artificial. En primer lugar, en la fase de selección de datos, donde se trata de interceptar cualquier sesgo contenido en el conjunto de datos destinados al entrenamiento de la herramienta. En segundo lugar, la fase de diseño del algoritmo, donde se aseguran que el algoritmo en si no genere resultados discriminatorios. Por ejemplo, mediante la selección de los puntos de información que el algoritmo tiene en cuenta durante su entrenamiento o el establecimiento de lo que consiste “éxito” o “fracaso” para el algoritmo. En tercer lugar, la fase de uso del algoritmo, donde se llevan a cabo controles de resultados para detectar cualquier característica de la herramienta que genere resultados sesgados.
- Normativa voluntaria
La Comisión Europea ha optado por publicar una guía no vinculante donde expresa los principios esenciales para desarrollar inteligencia artificial en la Unio?n Europea garantizando los derechos fundamentales de los ciudadanos de la Unión y la fiabilidad de las herramientas. Estos principios desarrollados por un grupo de expertos, High-Level Expert Group on Artificial Intelligence, deben leerse junto con el Reglamento de Protección de Datos que entró en vigor hacer prácticamente un año. Este Reglamento ya prevé normas que afectan directamente al corazón del desarrollo de inteligencia artificial, desde el uso del reconocimiento facial al derecho de “opt-out” de los sistemas de toma de decisiones automatizadas.
La realidad es que el impacto de la normativa voluntaria, como los códigos de buena conducta, depende de la voluntad de las empresas. También es verdad, que ante la complejidad para la aprobación de normativa vinculante en ámbitos donde convergen tantos intereses, como en la inteligencia artificial, la publicación de una guía voluntaria proporciona unos estándares de actuación. Estos pueden tener un efecto positivo en el mercado.
- Leyes vinculantes
Por último, una propuesta en el ámbito de normativa vinculante podría consistir en la realización de auditorias de los algoritmos especialmente enfocadas a la detección de estos sesgos. De la misma forma que se auditan las cuentas de forma anual, establecer una obligación periódica de auditoria de algoritmos.
Esta es la idea que en esencia, se establece en la propuesta de Algorithmic Accountability Act que los senadores Cory Booker y Ron Wyden han presentado en Estados Unidos. Esta propuesta exige la realización de evaluaciones del impacto de los sistemas de toma de decisiones automatizadas y de protección de datos. Esta medida solo será de aplicación a empresas que ganen más de 50 millones de dólares al año o que retengan información de al menos 1 millón de usuarios.
El sector legal está inmerso en una transformación fundamental. Gran parte de esta transformación se producirá de la mano de herramientas impulsadas por inteligencia artificial, que harán nuestro trabajo como abogados más fácil, pero también acercarán la justicia a aquellos que más la necesitan. Por eso es tan importante en este momento fundacional de la incorporación de la inteligencia artificial a los procesos legales, trabajar para construir un sistema libre de sesgos y patrones que perpetúen la discriminación.
Isabella Galeano
Barcelona, 14 de mayo de 2019
«Isabella Galeano es la fundadora de The Technolawgist. Es abogada, consultora en legal tech e innovación legal, profesora de la Facultad de Derecho de Esade y creadora del podcast The Quirky Lawyer.
Su propósito es contribuir a la transformación del sector legal e inspirar a abogados alrededor del mundo.
En 2010 se licenció en Derecho en la Facultad de Derecho de Esade. Ha ejercido en los departamentos de mercantil de Freshfields Bruckchaus Deringer, Gómez-Acebo y Pombo y Uría Menéndez. Además, ha trabajado en los departamentos legales de Nike y Medtronic.
En 2018 se graduó del master en Derecho (LL.M.) de la Universidad de Georgetown (Washington, DC) donde obtuvo conocimientos y experiencia sobre legaltech, fintech y el mercado digital y en julio de 2018 aprobó el Bar de Nueva York.»
