Apocalipsis Big Data: Un algoritmo puede arruinarte la vida

Excepto si eres un varón blanco de una clase privilegiada. ¿Lo eres? ¿No? Pues entonces sigue leyendo… Porque tus oportunidades de conseguir un trabajo, de obtener una hipoteca o una póliza de seguros razonable, e incluso de acabar en prisión dependen de un conjunto de operaciones matemáticas que escapan al control y la compresión de sus creadores y que están ‘escritas’ a imagen y semejanza de ellos. Y lamento decirte lo que único que puedes hacer para evitarlo es dudar como si no hubiese mañana.

.

Así lo asegura la matemática Cathy O’Neil, que trabajaba como analista para un reconocido fondo de cobertura estadounidense cuando estalló la crisis financiera y descubrió que las matemáticas no son esas ciencias exactas que aprobabas por los pelos en la escuela, sino que están involucradas en los grandes problemas del mundo, y además los agravan. “Los algortimos perpetúan la discriminación porque confiamos en ellos demasiado cuando no son más que una forma de automatización del prejuicio; ni siquiera las personas que construyen esas máquinas las entienden”, me explica O’Neil durante su visita a Barcelona para participar en el festival The Influencers y presentar el libro ‘Armas de destrucción Matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia’ (Ed. Capitán Swing).

A finales de octubre el gigante Amazon nos sorprendió entonando el ‘mea culpa’ cuando descubrió que el algoritmo que empleaba para reclutar personal desde hacía algunos años discriminaba a las mujeres, y al no saber cómo repararlo lo eliminó de la ecuación. Lo que para la matemática es un ejemplo de cómo debería obrar toda compañía en la era del Big Data, haciéndose una sencilla pregunta: ‘¿Por qué?’ Cosa que muy pocas hacen y tiene consecuencias desastrosas, sin ir más lejos para el futuro del trabajo, como por ejemplo el llamado ‘clopening’ y los contratos basura.

“Las empresas intentan minimizar el número de trabajadores para ahorrar dinero y emplean un algoritmo que les indica cuál es la cantidad mínima de empleados que necesitan en función de la probabilística -si el año pasado y hace dos años hubo una semana en concreto y a unas horas determinadas en que la tienda se llenó de clientes, entonces hay que contratar personal para cubrir esta franja, lo que sea de ellos después…-, y así lo que acaban haciendo son contratos basura, que tiene sentido desde la lógica empresarial pero impiden que las personas puedan organizar su vida o consigan un segundo trabajo, o puedan estudiar. Y además, la ley va por detrás y te dice que si trabajas más de 35 horas semanales puedes tener beneficios, así que el algoritmo previene que los tengas”, cuenta.

De forma que los pobres siguen siendo más pobres y los ricos… De hecho, qué tontería, si los ricos no utilizan las plataformas de empleo ni trabajan en una gran superficie 15 horas semanales en horario variable. Ni tampoco, como expone Cathy O’Neil en su libro, viven en vecindarios en los que, de acuerdo a las matemáticas, tienen mayores papeletas de acabar en prisión.

La automatización del prejuicio

¿Qué probabilidad hay de qué en los vecindarios más deprimidos haya mayor número de detenciones policiales? ¿Y que sean ciudadanos de otra raza? Uno los muchos casos que recoge O’Neil en su libro para demostrarnos cómo actúan estas ‘armas de destrucción matemática’ ocurrió en una pequeña localidad de Pensilvania (Estados Unidos) con un índice de pobreza de más de 40% y cuya policía decidió en plena crisis emplear un programa de predicción de delitos llamado PredPol, que funciona con Big Data.

PredPol trabaja diviendo la ciudad en cuadrantes y determinando en cuál de ellos es más probable que se cometa un delito -desde los más leves, como beber en la calle, hasta los graves-, pero se basa en los registros históricos de la policía. De esa forma se enviaba a más agentes a un determinado lugar provocando más detenciones, y así se entraba en un círculo vicioso que llenaba las prisiones de gente, la mayoría hispanos o negros. “Ese mapeo lo que traza en realidad es un rastro de pobreza. Detenemos a los negros por cosas por las que no detenemos a los blancos pero lo llamamos ciencia, y volvemos a ese barrio una y otra y otra vez…”, resume.

«Debemos reemplazar la invisibilidad sobre los daños que provoca el Big Data por excepticismo para que empiecen a tomarse medidas» -Cathy O’Neil.

.

Si bien la matemática admite que en Europa somos menos confiados que en Estados Unidos, advierte sobre el gran desconocimiento de los ciudadanos del funcionamiento y los efectos de vivir en tiempos del Big Data, que también tiene sus ventajas y no es necesariamente malo dependiendo del uso que se haga de él, de los mecanismos de control ‘urgentes’ que se apliquen y, sobre todo, de las evidencias de su mal funcionamiento y el daño que puede llegar a hacer. Y por eso, porque las evidencias crecen como setas, se muestra optimista.

“Lo que está ocurriendo con el Big Data es muy parecido a cuando se inventó el automóvil… Recuerdo que mi abuela me contaba que cogió el coche de su padre sin que lo supiera y condujo desde Chicago a Los Ángeles cuando tenía 12 años. Loco, ¿verdad? Los coches son peligrosos y muere mucha gente al volante, pero los accidentes de tráfico son visibles y eso hace que aparezcan vehículos mucho más seguros. Con los algoritmos ocurre lo mismo, es un invento asombroso pero se cometen errores y es muy peligroso, y necesitamos muchas evidencias para que se tomen medidas. Tenemos como ejemplo lo que sucedió en Birmania con el algoritmo de Facebook, que está cometiendo enormes equivocaciones que cuestan vidas… Y esta invisibilidad tiene que ser reemplazada por escepticismo. Es lo que busco. Lo que necesito. Y si somos lo suficientemente excépticos, las autoridades tendrán que regularlo y plantearse cuestiones. No es imposible, Amazon lo hizo”.