Los retos jurídicos de la inteligencia artificial a través de seis casos reales

podría seguir, pero ya he comentado bastante aunque no dejaré tampoco pasar que los ejemplos de «fallos» del punto 3, si se leen con detenimiento, no son achacables a la IA sino al software en general. Es verdad que falló un sistema de manejo automático del avión (en cierto modo una IA de pilotaje que sirve de ayuda al manejo del avión y que hoy en día casi los hace volar solos), pero porque el sistema automático recibía información errónea de unos sensores mal diseñados y para la IA, que percibe el mundo a través de esos sensores, el avión se iba a estrellar e intentaba estabilizarlo (y en realidad lo estrellaba). Un piloto humano en las mismas circunstancias (al que le llega información errónea y no tiene forma alguna de darse cuenta de que son erróneas) haría lo mismo (y más de un accidente aéreo y de otro tipo han sucedido por esas causas).
Lo del hospital no tiene nada que ver con sistemas IA y lo ya dicho, los ciberataques en general no son más fáciles a sistemas IA que a cualquier software.

Vaya, le día a enviar sin repasarlo y reorganizarlo… me ha salido el comentario del tirón… disculpad el estilo y que los puntos no hayan salido con una estructura uniforme (empiezo con el punto a y luego voy al 3 :-D)

Varias puntualizaciones.
a) Cajas negras. Todo este proceso en el que hay un boom de sistemas de caja negra (por lo general más precisos) seguida de la crítica por ser caja negra y un interés en sistemas transparentes (o interpretables), que los hay, pero son menos precisos, ya ha ocurrido antes en las anteriores primaveras de la IA (en los años 60, y luego en los 90). Ahora, al haber más confianza en los programas, posiblemente no llegue a los niveles de enfrentamiento de aquellas primaveras, pero pasará como entonces, que habrá ciertas aplicaciones (en los 90, por ejemplo, era difícil convencer a fondos de inversión de confiar en modelos de caja negra para comprar/vender acciones sin justificación, pero fueron poniendo menos pegas cuando la competencia empezó a tener esos sistemas y tenían esa ventaja competitiva) donde se exigirán sistemas transparentes y, donde no sea algo realmente vital, se usarán los de caja negra.

punto 3. No es cierto que los sistemas de inteligencia artificial sean especialmente vulnerables a los ciberataques. El software en general lo es y, en la medida que la IA (especialmente la IA débil que ahora destaca y se toma por el todo, cuando solo es una forma de IA) es un ejemplo complejo de software, comparte esa debilidad general ante ataques maliciosos, pero no es mayor que cualquier otro programa, y puede protegerse como cualquier otro programa. Es más, en realidad la IA se está aplicando, y con mucho éxito (y es un buen campo para investigar y publicar, doy fe), en la ciberseguridad para detectar ataques, tanto desde el enfoque de detección de anomalías (caracterizar el uso no fraudulento y tachar cualquier desviación como potencial ataque) que suele tener mucho falso positivo, o detección de abusos (caracterizar el ataque y detectarlo cuando aparece) que tiene el problema de que los datos disponibles están muy descompensados (muchos ejemplos de uso normal y escasos de ataque) y los sistemas de aprendizaje automático tienen la mala «costumbre» (en realidad por como funciona el aprendizaje) de tender a ignorar (o caracterizar muy pobremente) clases muy minoritarias, con lo que esos enfoques tienen que hacer sobresampleo (modificar artificialmente la proporción de datos de entrenamiento de las clases minoritarias para que no sean ignoradas, pero eso introduce un sesgo ya que lo que se modela no es la realidad, sino una versión donde la clase minoritaria es «reforzada») o hacer subsampleo (lo mismo pero quitando ejemplos de clase mayoritaria, reduciéndola). Si se hace bien (que no es fácil) se puede conseguir que esas clases no sean ignoradas, pero no sale gratis, suele ser a costa de modelar peor la clase mayoritaria (por desgracia no es «las gallinas que entran por las que salen», lo que suele suceder es que por cada gallina de la clase minoritaria que entra puede ser que «salgan» muchas gallinas de la clase mayoritaria, que serán mal clasificadas para que la minoritaria no sea ignorada).
Esto último vale para mi otra matización, lo del «sesgo» en los datos que, en varios artículos de opinión por parte de «expertos» mezcla varias cosas.
Una cosa es un sesgo real en los datos, es decir, que los datos (que son una muestra del sistema a modelar) no sean una muestra representativa del sistema a modelar, es decir, que no se ha obtenido de manera homogénea y hay zonas sobre-representadas y otras sub-representadas. Ese es un tipo de sesgo que se «arregla», cuando se detecta, muestreando correctamente (se toman datos de las zonas subrepresentadas, p.e.).
Otro «sesgo», que no es realmente tal, es cuando se ha hecho una muestra representativa pero existen «clases» muy pequeñas… Como he comentado antes, los algoritmos típicos de aprendizaje máquina (que hay muchos pero en su base hay unas pocas familias) tienden a ignorar clases con pocos datos (eso si no son directamente eliminados en el preprocesado al considerarse «outliers» o datos atípicos) porque no consigue caracterizarlas bien y le compensa más (producen tasas de acierto mayores) ignorarlas directamente (o caracterizarlas muy mal… total, como aparecen pocas veces su error es escaso). Este otro «sesgo» que realmente no lo es, es al que se aferran muchas críticas, especialmente las más escandalosas del tipo que la IA es racista/machista/loquesea-ista porque oprime a la minoría de turno… y abogan por retocar los datos artificialmente para quitar ese «sesgo» pero en realidad lo que se aboga realmente es por introducir un «sesgo» a algo no sesgado (porque al sobre-representar una clase minoritaria se está cambiando el sistema a modelar, aunque se haga para forzar a la IA a no ignorarla) con lo que los modelos, a nivel general, empeoran en rendimiento (porque no modelan la realidad sino una versión retocada de ella… y como decía ya Richard Feynman en sus conclusiones particulares al accidente del Challenger «Para que una tecnología sea exitosa, la realidad debe prevalecer sobre las relaciones públicas, ya que la naturaleza no puede ser engañada»… así que todos estos que abogan por retocar los datos para que la IA se comporte como creen que debería (edulcorando los datos reales para que sean más solidarios, igualitarios, etc.) pues puede pasar como con el challenger… que la IA tomará peores decisiones aunque sean más happyflower.