“BIASES”, DISCRIMINACIÓN Y ANÁLISIS DE RIESGOS: ¿TIENEN LOS ALGORITMOS PREJUICIOS ELECTRÓNICOS? (I)

Por María Luisa González Tapia

El análisis de riesgos como garantía de los derechos y libertades de los afectados

En España, con el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016 (“RGPD” o “Reglamento general de protección de datos”) se inicia la aplicación de una generación de normas que intentan mantener un balance entre tecnología e innovación, por un lado, y derechos y libertades de los ciudadanos, por otro.

Por ello, el RGPD no se puede entender ni interpretar aisladamente, sino en el contexto del resto de regulaciones relacionadas con asuntos digitales que se han aprobado recientemente o se están ahora  en trámite de elaboración en la Unión Europea, como la Ley de Servicios Digitales o el futuro Reglamento de Inteligencia Artificial. Se trata de un conjunto de normas que pretenden ser el “gold standard” para el resto del mundo y que intentan mantener ese balance mencionado entre avance tecnológico y derechos fundamentales. El balance, eso sí, no lo hace el legislador, sino que se traslada la obligación de llevarlo a cabo al sujeto obligado por la norma, al responsable del tratamiento en el caso del RGPD, a través de un análisis de riesgos.

Por lo que respecta al RGPD, esto significa en la práctica que no contamos con un listado concreto y tasado de obligaciones (ni en lo que se refiere a medida de seguridad ni en otros aspectos). Se establecen principios generales y obligaciones básicas. El resto de las medidas aplicables dependerán de las circunstancias del tratamiento.

Todos entendemos que cumplir adecuadamente con el RGPD no significa tener un registro de actividades del tratamiento, una cláusula informativa y un modelo de contrato de encargo. Es algo más. Esas medidas adicionales las debe determinar el responsable del tratamiento a través de un balance con los derechos y libertades de los ciudadanos. De esta forma, resulta necesario analizar (y probar que así lo hemos hecho, porque rige el Principio de “Accountability”) que el tratamiento que se quiere implantar no afecta negativamente a ningún derecho o libertad de los titulares de los datos. Por supuesto, también debemos aplicar controles mitigadores de las amenazas que detectemos.

A diferencia de otros análisis de riesgos que se puedan llevar a cabo en el contexto empresarial, evaluar riesgos en el RGPD significa valorar cómo afecta el tratamiento a todos los derechos y libertades del titular de los datos, no determinar en qué medida la empresa puede ser multada o sancionada y reducir la posibilidad de que esto ocurra o el impacto de una multa.

En función del resultado del análisis de riesgos realizado, adoptaremos distintas medidas. No hay un catálogo fijo. Las “medidas estrella” son las políticas de protección de datos a las que se refiere expresamente el artículo 24 del RGPD, pero no tenemos indicación de cuántas políticas debemos redactar o sobre qué materias. En definitiva, se trata de un sistema mucho más flexible que el impuesto por el anterior marco normativo, pero también más difuso en infinitamente casuístico. Así, por ejemplo, si nos preguntamos qué significa cumplir con el artículo 25 del RGPD, esto es, con el principio de “Privacy by Design”, deberemos responder que implicas cosas distintas en contextos diferentes.

En el caso del PS/00070/2019[1] (por el que se impone una multa de 1.184.000 al BBVA), significa haber previsto la posibilidad de que a una anciana le roben el móvil en una residencia y utilicen su identidad para contratar préstamos y perpetrar otros fraudes. En cambio, en el PS/00120/2021[2] (a través del que se multa MERCADONA con 2,5 millones de euros), el incumplimiento del principio de “Privacy by Design” se define por haber implantado un mecanismo excesivamente intrusivo y no necesario, que, además, podría haber sido burlado con la utilización de una simple máscara.

De acuerdo con lo anterior, teniendo claro que debemos llevar a cabo un balance con los derechos de los afectados cuando iniciemos un tratamiento, el objeto de esta serie de posts consiste en ofrecer una visión general de cómo pueden afectar negativamente algoritmos y modelos de Inteligencia Artificial que utilicemos en nuestros procesos a un único derecho de los afectados, el derecho a la igualdad o el derecho a la no discriminación.

Prejuicios Electrónicos: ¿Qué son los “biases”?

Se conocen como “biases” o “sesgos” los efectos distorsionadores en el desarrollo y uso de la Inteligencia Artificial que producen resultados sistemáticamente discriminatorios por suposiciones erróneas.

Empezamos ya a ver algunos ejemplos publicados en prensa de este tipo de resultados. En Holanda, se acusó falsamente a distintas familias de inmigrantes de haber obtenido beneficios sociales de forma fraudulenta basándose en las conclusiones erróneas de un algoritmo. El sistema biométrico de inteligencia artificial utilizado por Uber para identificar a sus conductores, aparentemente, demuestra un mayor porcentaje de error con las personas de raza negra, lo que ha dado lugar a distintos perjuicios para conductores que no fueron reconocidos por el mismo. También ha sido muy comentado el algoritmo de Google que etiqueta como gorilas a personas de color. Incluso tenemos un documental (actualmente disponible en Netflix) sobre cómo algunos sistemas reconocimiento facial reconocen unas razas y no otras: “Sesgo Codificado”.

Entre las causas más comunes de estos sesgos se encuentran las siguientes:

1. Utilización de datos de entrenamiento suficientes o inadecuados. La falta de calidad de los datos puede dar lugar a la generación de algoritmos y modelos de Inteligencia Artificial sesgados:

-Datos que no incluyen información sobre minorías religiosas o étnicas.

-Datos con una desviación de género (por ejemplo, sólo incluyen información sobre hombres).

-Datos antiguos que no obedecen a la realidad social actual.

-Datos inexactos o incorrectos por falta de información de base (por ejemplo, no se dispone de información suficiente sobre violaciones cometidas en un país concreto porque no son denunciados por las víctimas o no se dispone de información fiable sobre ingresos obtenidos por profesionales o autónomos porque no los declaran).

Como se suele decir, los algoritmos son tan buenos como los datos utilizados para desarrollarlos.

2. El denominado “feedback loop”. Las predicciones efectuadas por un sistema influencian o determinan los datos que actualizan el propio sistema. Por ejemplo, si se determina que un área de una ciudad tiene una mayor proporción que otras de delitos violentos y se envía refuerzo policial a esa zona, es posible que, en lugar de descender los crímenes registrados, éstos aumenten y por consiguiente el sistema siga considerando el área como peligrosa.

3. Los propios prejuicios del equipo desarrollador, traslados al algoritmo consciente o inconscientemente. La percepción subjetiva de los equipos de trabajo influencia el enfoque de los sistemas que desarrollan.

Por ejemplo, un modelo de selección de candidatos a puestos de trabajo puede favorecer inconscientemente a los hombres frente a las mujeres haciendo que obtengan mejor puntuación los curricula que incluyen palabras como “ambición” o “proactividad”, que parece que son más frecuentes en la descripción de candidatos masculinos. Igualmente, en la creación de imágenes sintéticas se refleja la idea preconcebida que los desarrolladores pueden tener de una profesión: Así, se puede dar lugar a que cuando se genere artificialmente la imagen de un profesional de la enfermería éste sea una mujer y cuando se genere el prototipo de médico éste sea hombre.

En este caso, también se podría decir que los algoritmos son tan buenos como las personas que han trabajado en ellos.

4. Efectos indeseados no previstos debidos a errores técnicos. En muchas ocasiones, los sesos son el resultado de simples errores. Sin pretenderlo ni estar condicionado subconscientemente por ningún tipo de prejuicio, el ser humano se equivoca. Los desarrolladores de sistemas de Inteligencia Artificial no son perfectos. 

Por supuesto, existen otras causas que pueden dar lugar a sesgos en algoritmos y modelos, pero probablemente las anteriores, sean las más comunes.

En los siguientes posts de esta serie, analizaremos algunas medidas correctoras que pueden implantarse para prevenir sesgos; la importancia de las olvidadas (y sistemáticamente incumplidas) directrices del Grupo de Trabajo del Artículo 29 sobre decisiones automatizadas y perfilado, y la relevancia práctica que podría tener en este contexto el artículo 82 del RGPD.