Gemma Galdón: «Si un algoritmo de un hospital toma malas decisiones sobre quién tiene que ser atendido el impacto es de vida o muerte»

Cada día los algoritmos toman decisiones vitales de nuestro día a día sin que seamos muy conscientes de ello. Porque obtener un crédito, un empleo o incluso atención médica puede depender de una inteligencia artificial y, dependiendo de cómo haya sido codificado ese algoritmo, sus resultados pueden resultar injustos y discriminatorios. Veamos tres ejemplos. 

El verano pasado el Departamento de Educación de Reino Unido decidió utilizar un algoritmo para calcular la nota de selectividad de los alumnos que debido a la pandemia no pudieron presentarse a los exámenes de manera presencial. Para ello tuvo en cuenta el historial de los estudiantes, pero también el historial de sus compañeros o el centro al que acudían. El resultado perjudicaba a las minorías étnicas y las personas de entornos más pobres o desfavorecidos, que vieron cómo sus notas bajaban en comparación con las de los chicos que viven en zonas más privilegiadas.

Antes, en 2018, Amazon prescindió de una inteligencia artificial de reclutamiento porque no le gustaban las mujeres: el sistema había sido entrenado con los datos de los solicitantes de empleo de los 10 años anteriores y como la mayoría de los que habían aplicado a los perfiles más técnicos eran de hombres, aprendió que eran preferibles y empezó a discriminar a las mujeres. Y según un estudio publicado en 2019 por la revista Science, un algoritmo utilizado ampliamente en el sistema de salud estadounidense discriminaba a los pacientes negros susceptibles de recibir atención adicional frente a los blancos.

Para garantizar la igualdad de oportunidades, la transparencia y la no discriminación en estos procesos, sobre todo, para las personas y colectivos vulnerables, nació en 2012 Éticas Consulting, una empresa española única en el sector que desde 2017 realiza auditorías de algoritmos con el objetivo de verificar que no contienen sesgos ni ineficiencias. ¿Cómo? Investigando el diseño del algoritmo, los datos que lo entrenan y las decisiones que toma para comprobar si se ajustan a la ley y si son lo más eficaces posible para clientes como la Comisión Europea, Indra, Telefónica, el Banco Interamericano de Desarrollo (BID o IDB, por sus siglas en inglés) o la Asociación Española de Protección de Datos (AEPD). 

Sobre el impacto que tienen los algoritmos en nuestras vidas y su pionero trabajo hablamos con Gemma Galdón, fundadora y CEO de Éticas Consulting, innovadora social de Ashoka y analista de políticas públicas especializada en el impacto social, legal y ético de las tecnologías intensivas en datos personales. 

En primer lugar, cómo explicaría de qué forma los algoritmos reproducen los sesgos de los ingenieros y las sociedades que los producen.

Reproducen sesgos de varias formas, pero el más habitual es capturar las dinámicas discriminatorias que ya existen en la sociedad. Si en la sociedad se dan trabajos más técnicos y mejor remunerados a los hombres porque hay una dinámica histórica de machismo, pues los algoritmos aprenden eso y aprenden que es lo normal y deseable, con lo cual, lo reproducen. Lo mismo ocurre con los algoritmos de reconocimiento facial: reconocen mejor las caras blancas que las negras porque hay menos caras de personas que no sean blancas en internet, con lo cual el entrenamiento de esos algoritmos se hace mayoritariamente con rostros blancos y eso acaba derivando en un sesgo en esos algoritmos. 

 ¿Cómo funcionan los algoritmos, es decir, cómo aprenden en función de los datos que reciben y cómo toman decisiones a partir de ellos?

Un algoritmo al final no es más que una fórmula matemática que puede ser muy simple o muy compleja. Se le enseña introduciendo datos masivos del pasado y en base a esos datos el algoritmo dilucida qué es lo normal o lo más recurrente y lo que intenta es aplicar ese aprendizaje. De este modo, si el 3 de mayo de los últimos 100 años ha llovido, el algoritmo predecirá que es bastante posible que el próximo 3 de mayo vuelva a llover. Si lo aplicas a la lluvia, quizá no pase nada si al final no llueve, el problema es que aplicados a procesos sociales del pasado pueden tener muchos sesgos. A nivel bancario, por ejemplo, hay una discriminación clarísima de las mujeres porque hasta hace poco el representante económico de la familia era el hombre, de modo que las bases de datos históricas son mayoritariamente de hombres. El algoritmo entiende que el cliente más deseable es el hombre, entonces le ofrece mejores servicios, más líneas de crédito y más hipotecas que a las mujeres porque aprende esa discriminación y la aplica. 

Cada vez hay más algoritmos tomando decisiones que determinan si accedemos a servicios o recibimos atención, tanto médica como social, y no tenemos ninguna visibilidad de cuándo funcionan esos algoritmos

 ¿En qué ámbitos de nuestra vida se utilizan actualmente algoritmos para tomar decisiones y cuáles son los peligros para ciertos grupos vulnerables?

Los espacios en los que estamos más acostumbrados a los algoritmos es la inteligencia artificial en los teléfonos móviles, como en el GPS o la publicidad online, pero esos son los campos más inocuos de desarrollo de estas tecnologías. Lo que estamos viendo cada vez más es el uso de estas tecnologías en el ámbito médico para diagnosticar o para seleccionar a las personas que acuden a urgencias pidiendo un tratamiento inmediato; en ámbitos de trabajo se utilizan para la selección de personal, leyendo currículums para determinar quién debe recibir un trabajo, o dentro del trabajo recogiendo indicadores de productividad y decidiendo al final de mes qué trabajadores pueden seguir y cuáles se quedan sin contrato por no haberlos alcanzado; en el ámbito educativo; en servicios sociales para determinar si recibimos una prestación social. En España un algoritmo otorga el bono social [eléctrico] y determina el riesgo que corren las mujeres maltratadas o el riesgo de reincidencia de las personas que están en la cárcel, en Cataluña al menos. Cada vez hay más algoritmos tomando decisiones que determinan si accedemos a servicios o recibimos atención, tanto médica como social, y no tenemos ninguna visibilidad de cuándo funcionan esos algoritmos. El problema principal ahora es la transparencia de estos sistemas de datos. 

¿Por qué creó Éticas Consulting y cómo desarrollaron la metodología para corregir estos sesgos? 

Nosotros llevamos trabajando en cuestiones relacionadas con el impacto social de la tecnología desde 2012 y al final lo que nos ha llevado a las auditorías algorítmicas es la voluntad de ser útiles. Somos un equipo multidisciplinar formado por personas con especialidades muy diferentes, desde las ciencias sociales y la sociología, hasta las matemáticas y la ingeniería, de manera que en nuestro trabajo identificábamos muchísimos problemas de encaje legal e impacto social en esas tecnologías. Nos pusimos a desarrollar una herramienta que nos permitiera no solo identificar cuándo esos algoritmos funcionaban mal, sino también corregirlos para que funcionaran bien: siendo conscientes de todas esas dinámicas de discriminación o de esos problemas contextuales, lo que podemos hacer es incorporar ese conocimiento al algoritmo para que respete y proteja a perfiles de personas específicas en esos procesos de datos, ya sean colectivos vulnerables y vulnerabilizados en el mundo real, como otros grupos para los que ese algoritmo está tomando decisiones que son desiguales. Lo más habitual son las discriminaciones a las que ya estamos habituados, como el machismo y el racismo, porque son las dinámicas más consolidadas a nivel social, pero también depende del espacio.

¿Cómo trabajan con los clientes y cómo se ejecutan las auditorías algorítmicas?

En la fase inicial vemos cómo se ha conceptualizado el algoritmo. Esta fase es más de ciencias sociales, de entender un problema concreto: qué es lo que quieres solucionar e identificar los indicadores y las bases de datos que te serán útiles para hacerlo, asegurar y valorar que sean de calidad, que estén actualizadas, que sean representativas, etcétera. Con un buen diagnóstico inicial de los datos que necesitas ya puedes evitar muchas disfunciones y evitarte muchos problemas posteriores.

Después hay una segunda fase que es más técnica, que es entrar en el algoritmo y ver, en base a los grupos vulnerables que hemos definido, los perfiles que entendemos que por temas históricos pueden ser sesgados por el algoritmo. Lo que hacemos es ver cómo les está tratando el algoritmo en términos de peso estadístico e impacto sobre esos perfiles asegurando que ese impacto siempre se corresponda con lo que queremos y lo que es justificable a nivel de impacto social. 

Y una tercera fase que es ver cómo un algoritmo se incorpora a un proceso organizativo. Hablar con los equipos que gestionan esas decisiones algorítmicas y asegurarnos de que saben cómo funcionan y cómo introducir ese input algorítmico en un proceso de toma de decisiones para asegurar que, una vez saneado el algoritmo, un humano no nos vuelve a incorporar sesgos humanos. La idea es trabajar con las dos partes, el sesgo algorítmico y el sesgo humano, para que la decisión sea lo más objetiva y acorde con los objetivos que tenemos cuando incorporamos inteligencia artificial en la provisión de un servicio.

¿Hay sectores menos proclives a la aplicación de auditorías algorítmicas?

Ningún sector es proclive (ríe). Al final hacer un algoritmo bien es más caro que hacerlo mal y con nuestro trabajo lo que hacemos un poco es romper esa idea de que la inteligencia artificial es fácil y barata. Incorporar inteligencia artificial es un proceso de transformación digital que no es fácil y si quieres un buen algoritmo tampoco es barato porque el nivel de atención que tienes que dedicar a la recogida de datos, a la atención de esos datos durante todo su ciclo de vida, y a la revisión o auditoría periódica de ese algoritmo son recursos que tienen que invertirse. Pero sí que es verdad que hay sectores que están más expuestos porque si hay mala praxis tiene impactos más relevantes. Si Netflix se equivoca al recomendarte una serie el impacto es menor, pero si un algoritmo de discriminación en una sala de emergencias de un hospital toma malas decisiones sobre quién tiene que ser atendido primero el impacto es de vida o muerte. Y en general nuestros clientes son organizaciones que trabajan en sectores donde el impacto es más grave: bancario, médico, servicios públicos y sociales, seguimiento de la salud, empleo y educación.

¿Por qué todas las empresas deberían realizar auditorías algorítmicas de manera obligatoria?

Porque ya lo son por ley. En España en el sector público está regulado desde hace décadas que cuando el ciudadano es sometido a decisiones automatizadas esas decisiones deberán ser auditadas. El reglamento de protección de datos europeo que se aprobó hace cinco años y es de aplicación desde hace tres, también prevé esa auditoría de algoritmos. La nueva propuesta de ley de regulación de inteligencia artificial en Europa también prevé que en los sectores de algo riesgo, como el educativo, el sanitario o el laboral, esos algoritmos tienen que ser auditados. Es un requerimiento legal que ya está consolidado, lo que pasa es que no se implementa. 

¿Y por qué no se implementan estas leyes?

Porque supone un esfuerzo adicional y va en contra de esa idea de Silicon Valley de muévete rápido y rompe cosas. Nosotros abogamos precisamente por muévete despacio y desarrolla algoritmos que realmente solucionen problemas y protejan personas. Al vender algoritmos muy baratos y venderle lo mismo al ministerio de servicios sociales que a unos grandes almacenes la dinámica de incentivos del desarrollo tecnológico cambia, lo que genera mucha resistencia y oposición no solo a las auditorías algorítmicas, sino a incorporar esos nuevos requisitos de protección legal en las herramientas de inteligencia artificial. Esa falta de voluntad de incorporar y hacer cumplir la ley cada vez es menor, pero es verdad que llevamos un cierto atraso. Las leyes están, pero no se cumplen, entonces nosotros lo que hemos hecho es convertir esa exigencia legal en una metodología que podemos explicar para que deje de ser abstracta. Hemos publicado nuestra guía de auditoría algorítmica, donde explicamos en qué consiste, qué es lo que identificamos y qué es lo que subsanamos. Yo creo que las regulaciones son suficientes si se aplican y si no se aplican no son suficientes. Lo que falta es definir los reglamentos, ser mucho más prescriptivo en decir en qué consiste una auditoría algorítmica, que es lo que hemos hecho nosotros.

Da la impresión de que la información sobre tecnología y los debates que se generaban han estado también muy contaminado por las emociones.

Ha habido un discurso muy tecno-optimista: subrayar las partes positivas y esconder o no hablar de los impactos negativos y eso ha llevado a que la población incorporara algunas herramientas de trabajo que muchas veces utilizan nuestros datos de formas no solo descontroladas, sino ilegítimas y que nos pueden perjudicar en un futuro. Pero no creo que la responsabilidad sea de los usuarios, la responsabilidad es del regulador: si algo llega al mercado y es utilizable por la población ese algo tiene que pasar por controles y quien lo vende tiene que asegurarse de que cumple la ley. Eso con la tecnología no ha pasado. 

¿Somos conscientes entonces del impacto que puede tener nuestra huella digital en nuestras vidas?

Yo creo que hay bastante conciencia, lo que faltan son alternativas y una regulación que nos proteja. Nadie nos pide para ir a la farmacia que nos saquemos la licenciatura en química: como sociedad entendemos que en procesos complejos, como el químico o el tecnológico, se protege a las personas y si acaso se te da una explicación de cómo funciona pero sin que tengas que ser un experto antes de utilizar el servicio y menos cuando es algo que está tan disponible. Yo creo que la responsabilidad no puede quedar nunca en el usuario, sobre todo, cuando la única opción si no quieres compartir tus datos es no utilizar el servicio. 

Si algo llega al mercado y es utilizable por la población ese algo tiene que pasar por controles y quien lo vende tiene que asegurarse de que cumple la ley. Eso con la tecnología no ha pasado.

Siguiendo con el símil farmacéutico, ¿qué información debería incluir el prospecto de los algoritmos?

Cómo funciona, cómo toma las decisiones, cuándo falla, con qué colectivos puede funcionar peor, quién lo ha creado, si no estoy de acuerdo con la decisión dónde puedo apelar, información básica que nos permita decidir si queremos utilizar o no ese servicio. Es bastante sencillo decidir lo que tiene que incorporar un prospecto y es una de las cosas que estamos pensando este año: cómo tendría que ser esa transparencia algorítmica, que no puede ser abrir el código, porque es como si me das los ingredientes de una crema hidratante, no me entero de nada, pero sí la forma de transmitir esa información.

A este respecto, ¿por qué afirma que la privacidad van a ser los derechos civiles del siglo XXI?

En los últimos años a privacidad se ha convertido en algo más que un derecho, la privacidad es el derecho que te abre la puerta al disfrute de otros derechos. El desarrollo autónomo de la persona cuando todo lo que has hecho queda registrado queda muy mermado porque no puedes reinventarte, no puedes equivocarte porque cualquier error queda grabado, puedes dejar de utilizar derechos fundamentales como reunión y manifestación o asociación cuando ese acto puede quedar registrado por parte de fuerzas policiales u otros grupos. El derecho a la presunción de inocencia, a un proceso legal con garantías… sin la privacidad no se pueden disfrutar, con lo cual, la privacidad se convierte en esos derechos civiles. 

Para terminar, ¿por qué recomendaría a las empresas auditar sus algoritmos?

Yo recomendaría a todo el mundo meterse en la tecnología responsable porque creo que tiene mucho más futuro que la tecnología irresponsable, que es la que nos rodea actualmente. Vemos un impacto muy positivo en los organismos con los que trabajamos, que mejoran la capacidad y comprensión de cómo la tecnología impacta en procesos humanos. A medio plazo será impensable la tecnología que hemos tenido hasta ahora y el futuro estará en tecnologías que consigan seducir a la gente en base a la confianza y el respeto por sus datos y no ese abuso constante. El futuro creo que está en la confianza, la auditoría y el control, hacer las cosas mejor y de manera responsable. Y a nivel de cliente el beneficio es evidente. Si vas a introducir inteligencia artificial tienes que hacerlo bien. El esfuerzo que supone un proceso de transformación digital tan importante, tanto en inversión en la tecnología como en el cambio de procesos, si después resulta que el algoritmo que has comprado funciona mal te arriesgas no solo a tener que empezar de cero, sino a tener un problema de reputación importantísimo. La inversión en auditoría algorítmica siempre se recupera en términos económicos, de discriminación de riesgos reputacionales y de riesgos por no cumplir la ley. No olvidemos que el incumplimiento de la ley de protección de datos puede llevar a multas de hasta el 5% de los ingresos globales. Invertir en mitigar ese riesgo creo que no es un tema baladí.