La inteligencia artificial de vieja escuela estaba pensada para hacer las cosas que sabemos hacer, pero mejor y más rápido. El machine learning se usa para automatizar cosas que no sabemos cómo funcionan exactamente. Las que hacemos por «instinto», como jugar al Go. Los algoritmos recogen patrones invisibles que a nosotros se nos escapan, las capas más profundas de nuestro comportamiento, los lugares a los que no podemos llegar. Y a los que no podemos seguirlos. En verano de 2017, Facebook puso a dos inteligencias artificiales a negociar. Su tarea era intercambiar una serie de objetos con un valor preasignado: sombreros, balones, libros. Sus programadores querían ver si eran capaces de mejorar sus tácticas de negociación sin que nadie les dijera cómo. Antes de lo que se tarda en decir J.F. Sebastian, los dos i-brokers estaban enfrascados en una discusión incomprensible; no porque no tuviera sentido sino porque mientras trataban de ponerse de acuerdo cada vez más rápido, habían conseguido «evolucionar» su inglés original a un dialecto de su propia ocurrencia, completamente ininteligible incluso para los humanos que los habían diseñado. Los corredores de alta frecuencia son esa clase de brokers. No son inteligencia de vieja escuela, programados para seguir razonamientos lógicos. Son redes neuronales entrenadas con machine learning que «juegan» a un mercado que nosotros no entendemos, y lo hacen con dinero de verdad. Juegan con los fondos de pensiones de millones de personas, con su jubilación, pero son cajas negras hasta para sus propios programadores, que aquel día solo pudieron contemplar cómo la bolsa se desplomaba en la pantalla, sin saber cómo pararlo ni por qué sucedió. Son la misma clase de algoritmos que empiezan a integrarse en los procesos de decisión de las cosas que nos merecemos: un trabajo, un crédito, una beca universitaria, una licencia, un trasplante. Estamos desarrollando nuestro propio sistema de crédito social, [N del blog: como el de China] pero el nuestro es secreto. Nadie puede saber cuántos puntos tiene ni cómo los perdió.
En su conocido libro "Algoritmos de destrucción matemática", Cathy O’Neil explora los algoritmos de valoración de reincidencia que ayudan a los jueces a decidir multas, fianzas, condenas y la posibilidad de reducción de penas o libertad condicional. Estudiando los resultados, la Unión Americana de Libertades Civiles descubrió que las sentencias impuestas sobre personas de color en Estados Unidos eran un 20 por ciento más largas que las de personas blancas que habían cometido el mismo crimen. Una investigación de la agencia de noticias independiente ProPublica reveló que el software más utilizado para la evaluación de riesgo predecía que los negros eran dos veces más propensos a reincidir en el futuro, o que las personas blancas eran la mitad de propensos a hacerlo. Otros estudios señalan que los jueces asistidos por algoritmo son más propensos a pedir la pena capital cuando el crimen lo han cometido personas de color. O a imponer castigos claramente desproporcionados. La saturación en los juzgados y el clima de confianza ciega en la solución tecnológica produce casos como el de Eric Loomis, condenado a seis años de cárcel en 2013 por conducir un vehículo sin documentación y huir de la policía. Ninguno de los dos delitos está penado con cárcel, pero el saturado juez de Wisconsin que gestionó su caso había sido asistido por un software de «Asistencia y gestión de decisión para juzgados, abogadosy agentes de clasificación y supervisión de presos» llamado COMPAS, de la empresa Equivant. El programa clasificó a Loomis como caso de «alto riesgo» para la comunidad, y por eso el juez lo sentenció a once años de condena; seis en la cárcel y otros cinco bajo supervisión policial...
Los investigadores Nathan Kuncel, Deniz Ones y David Klieger escribieron en la Harvard Business Review en su número de mayo de 2014 que la contratación de gerentes se encuentra fácilmente entorpecida por cosas que pueden ser solo marginalmente relevantes y usan la información de manera inconsistente —explica la página de HCMFront, una multinacional que se dedica a la «gestión de personas»—. Obviamente, pueden orientarse a partir de datos sin importancia, como elogios de los candidatos u observaciones en temas arbitrarios. Para mejorar los resultados, los autores recomiendan que las organizaciones usen primero algoritmos basados en un gran número de datos que reduzcan el número de candidatos, y luego aprovechar el criterio humano para elegir entre los finalistas.
La pregunta es: ¿qué datos son esos? ¿Qué bases dedatos manejan? El principio de no discriminación protege a los aspirantes a un puesto de trabajo de ser descartados por razones vinculadas a su raza, sexo, edad, clase socioeconómica o cualquier otro aspecto que no esté vinculado al puesto vacante. Pero ¿cómo sabemos que el algoritmo ha valorado nuestras notas, experiencia, rendimiento académico y las observaciones de empleos anteriores y no el barrio del que venimos, el coche que conducimos o las marcas de ropa que vestimos? Las empresas de recursos humanos son clientes habituales de los data brokers y los datos académicos y laborales son públicos. ¿Entran los test de personalidad que rellenamos alegremente en Facebook? ¿Los tuits de apoyo a movimientos sindicales o de crítica a una multinacional? ¿O la prueba de ADN que nos hicimos para conocer nuestros ancestros y que indica predisposición a alguna enfermedad? ¿O un historial de búsquedas o compras que revela la posibilidad de un futuro embarazo o de un tratamiento por depresión? En China, el Ministerio de Trabajo se ha convertido en el Ministerio de Recursos Humanos y Seguridad Social, uniendo la institución creada para proteger la integridad del mercado de trabajo y los servicios públicos con la empresa diseñada específicamente para destruirlos. En Occidente, la industria de la «gestión de personas» es privada, y se ampara en la oscuridad de los algoritmos para tapar la discriminación en un mercado dominado por la desigualdad, el desempleo y la automatización de la producción industrial.
La posibilidad de extraer los prejuicios de sistemas de IA desarrollados con machine learning es tan difícil como hacerlo de la cultura popular, porque su manera de aprender el mundo es imitar patrones sutiles en el lenguaje y el comportamiento, y no diferencia entre las manifestaciones públicas (como un artículo) y las privadas (como un correo o una búsqueda). Los humanos decimos en privado cosas que no diríamos en público. Pero los algoritmos no están entrenados para entender la diferencia, ni están equipados con mecanismos de vergüenza o de miedo al ostracismo social.
En 2015, un programador negro llamado Jacky Alciné descubrió que el sistema de reconocimiento de imagen de Google Photos le había etiquetado como «gorila». No era un accidente, ni un sesgo de Google. La palabra «gorila» se usa con frecuencia para referirse de manera despectiva a los hombres afroamericanos. Usando un software parecido, Flickr etiquetó a un hombre de color como «mono» y una foto del campo de exterminio de Dachau como «gimnasio salvaje». Es el mundo en que vivimos. La única solución que encontró la empresa que ha diseñado la máquina que ganó al mejor jugador de Go de todos los tiempos fue eliminar la palabra «gorila» del sistema, junto con otras iteraciones dela misma idea como «mono» o «chimpancé». Desde entonces, ni Google Photos ni Google Lens son capaces de reconocer primates, aunque el Asistente de Google y Google Cloud Vision, su servicio de reconocimiento de imagen para empresas, permanecen inalterados.
Los mismos errores aparecen en la delicada intersección entre sistemas de «gestión de personas» y algoritmos de reconocimiento facial. En2017, la Unión Estadounidense por las Libertades Civiles (ACLU) procesó la cara de los quinientos treinta y cinco miembros del Congreso de Estados Unidos con Amazon Rekognition y el sistema confundió a veintiocho de los congresistas con delincuentes registrados. Predeciblemente, el número de delincuentes era desproporcionadamente negro. Si los venerables representantes democráticos del primer país del mundo no están a salvo de convertirse en un falso positivo, ¿qué posibilidades tienen los demás? Sobre todo los inmigrantes. La mayor concentración de estas tecnologías se puede encontrar en las zonas portuarias de todo el mundo, incluida Europa. La policía holandesa la usa para predecir o identificar conductas potencialmente delictivas de los pasajeros en aeropuertos y turistas en la calle. También hay un proyecto piloto europeo para instalar en las fronteras de la Unión Europea avatares virtuales que «interroguen» a pasajeros y analicen con biomarcadores si los sujetos mienten o no. Se llama BorderCtrl.
En "La guerra en la era de las máquinas inteligentes", publicado en 1992, Manuel de Landa advertía que la industria militar estaba desarrollando sistemas para higienizar los contratiempos morales derivados de su actividad habitual (racismo, detenciones ilegales, asesinato). En el proceso, se estaban creando máquinas autónomas cargadas de prejuicios, ojos que miran mal. Un cuarto de siglo más tarde, tenemos sistemas de reconocimiento facial montados sobre drones armados capaces de tomar decisiones como disparar contra «insurgentes» desde el aire, asistiendo a soldados de veinte años desplegados en lugares como Afganistán. Esos operadores observan la retransmisión en vídeo de múltiples drones en sus pantallas planas, y sus decisiones están tan mediadas por la tecnología como la de los jueces asistidos por COMPAS. «En los días buenos, cuando los factores medioambientales, humanos y tecnológicos están de nuestra parte, tenemos una idea bastante clara de lo que estamos buscando —contaba Christopher Aaron, uno de esos operadores, al New York Times—. En los días malos teníamos que adivinarlo todo.» Y producen nuevo material que estudian los algoritmos para «aprender» a distinguir a un terrorista de un ciudadano antes de decidir si debe ser abatido. Hombres jóvenes y sin experiencia, que no hablan el idioma de las zonas ocupadas ni tienen ninguna relación previa con esta, y cuya percepción del entorno está mediada por interfaces deliberadamente diseñadas para parecer videojuegos, todo ello crea una sensación de irrealidad que debilita su empatía con los humanos pixelados de la imagen. Collateral Murder, el vídeo del ataque aéreo en Bagdad publicado por Wikileaks en 2010, ofrece un retrato del efecto de esas tecnologías sobre las decisiones de los oficiales estadounidenses. Barack Obama autorizó más de quinientos ataques con dron fuera de las zonas de conflicto, diez veces más que George W. Bush. Donald Trump ha autorizado cinco veces más ataques letales con dron en sus primeros seis meses de administración que su predecesor en su último medio año. El año pasado, triplicó los ataques en Yemen y Somalia, saltándose acuerdos internacionales sobre el uso de drones en zonas fuera de conflicto. El uso de drones como vehículo para operaciones letales es cada vez más habitual, y también más secreto.
MARTHA PEIRANO.
El enemigo conoce el sistema
2019
No hay comentarios.:
Publicar un comentario