Sesgo codificado
Sesgo codificado

Dirigida por

Shalini Kantayya

Año

2020

Relación con las Telecomunicaciones

Situación: Los algoritmos, un reflejo de la sociedad.

Situación: La inteligencia artificial y los más vulnerables.

Situación: La tecnología en caja negra no es nuestra amiga.

Situación: A medida que la tecnología toma más y más decisiones cruciales, cabe preguntarse si esa tecnología tiene un sesgo en su proceso de toma de decisiones.

Personaje: MINSKY, Marvin.

Personaje: SHANNON, Claude Edwood.

Sesgo codificado: La cara puede ser la última frontera de la privacidad

Dartmouth, 1956.

Los primeros estudios sobre IA se remontan a 1950, cuando Alan Turing publicó un artículo titulado "Máquinas de computar e inteligencia" (Computing Machinery and Inteligence).

Además de sus contribuciones en la explicación de fenómenos de la cognición, de la compresión del lenguaje, de la percepción visual y de la robótica, Minsky creó en 1951 la primera red neuronal artificial capaz de aprender, llamada SNARC. Utilizando componentes analógicos y electromecánicos, se fabricaron 40 neuronas y se conectaron a una red, en la que cada neurona se diseñó utilizando un condensador para la memoria a corto plazo y un potenciómetro para la memoria a largo plazo. Mediante este mecanismo se logró darle recompensas positivas a la máquina para que aprendiera cómo salir de un laberinto ficticio. Minsky lo llevó a cabo para experimentar con el concepto de aprendizaje automático, ahora conocido como 'Machine Learning'.

En 1956 se celebra la primera Conferencia sobre Inteligencia Artificial, término éste con el que cuatro científicos brillantes, John McCarthy, Marvin Minsky, Nat Rochester y Claude Shannon, bautizaron este nuevo campo de estudio.

La conferencia, hoy conocida como Conferencia de Dartmouth, nació porque John McCarthy y Marvin Minsky, que habían empezado a desarrollar una teoría sobre máquinas inteligentes, expusieron su visión a Nat Rochester y Claude Shannon con la idea de organizar una conferencia de forma conjunta.

La cuestión clave que se plantea en esta conferencia es si los expertos eran capaces de describir el aprendizaje y la inteligencia humana con suficiente detalle como para después poder ser reproducidos por un ordenador.

En 1959 Minsky y McCarthy fundan el Laboratorio de Inteligencia Artificial del Instituto Tecnológico de Massachusetts. Aunque las ideas sobre los sistemas expertos de inteligencia eran muy avanzadas, los recursos no acompañaban, ya que ni disponían del hardware ni del software adecuados para poder llevar a cabo los cálculos necesarios a un coste y en un tiempo razonables.

En 1962 Frank Rosenblatt desarrolló la idea del perceptrón, e introdujo el mecanismo de 'backpropagation' que permitía a la neurona aprender por sí misma y descubrir la información oculta en los datos de entrada con los que se la entrenaba.

En 1969, Minsky y Seymour Papert publicaron "Perceptrons", un libro que cuestionaba el trabajo de Rosenblatt y, esencialmente, sellaba su destino.

Casi al final de su etapa investigadora, en 1978, McCarthy tuvo que darse por vencido en su idea purista de inteligencia artificial, reconociendo resignadao que "para crear una una verdadera IA se necesitaría el trabajo de 1,7 Einsteins, 2 Maxwells, 5 Faradays y la financiación de 0,3 Proyectos Manhattan".

sesgo codificado padres fundadores IA

Sundance, 2020.

La categoría de competición de documentales en Sundance suele ser un programa de descubrimiento que deja espacio para los recién llegados y que a menudo abordan temas únicos. En esta línea, en la edición de 2020, se presentó y resultó nominado al Premio del Gran Jurado el documental 'Sesgo codificado' de Shalini Kantayya.

El documental se presenta como un fascinante estudio sobre cómo el aparentemente imparcial mundo de la tecnología está sujeto al racismo y los privilegios. Lo cierto es que la tecnología dicta cada vez más nuestras vidas, incluyendo no sólo los anuncios personalizados que vemos en las redes sociales, sino elementos que pueden afectar a nuestro futuro, como la evaluación de riesgos para el crédito e incluso las máquinas que clasifican y seleccionan las solicitudes de empleo. A medida que la tecnología toma más y más decisiones cruciales, cabe preguntarse si esa tecnología tiene un sesgo en su proceso de toma de decisiones.

Joy Buolamwini, sin proponérselo, se vio envuelta en esta cuestión cuando descubrió que el software de reconocimiento facial que utilizaba en el MIT Media Lab no reconocía su rostro hasta que no se ponía una máscara blanca. Intrigada por este comportamiento del software de reconocimiento facial, Buolamwini acabó concluyendo que era debido a que su rostro era negro y comenzó a investigar la falta de supervisión legislativa sobre la tecnología en términos de sesgo e incluso en términos de cómo los gobiernos la están utilizando para crear perfiles de ciudadanos.

El documental aporta un descubrimiento tras otro sobre los problemas que surgen en este campo de la tecnología y, lo que es peor, lo poco que se está haciendo para resolverlos. Por ejemplo, habla de Tay, el bot de inteligencia artificial que Microsoft acabó retirando a las pocas horas después de que se volviera xenófobo y racista, tan solo porque para darle cancha de aprendizaje lo dejaron libre en twitter, para que fuera aprendiendo de lo que allí se publicaba. O cómo cuando Amazon utilizó un algoritmo para hacer el primer corte de los solicitantes de empleo se descubrió que el sistema de selección básicamente sólo dejaba pasar a hombres blancos.

El hecho es que los sistemas se construyen sobre la historia, y la historia tiene un problema para reflejar el progreso, la igualdad y la diversidad humana.

Tranae Moran habla de cómo es vivir con los prejuicios del reconocimiento facial a menor escala. Ella vive en el edificio de apartamentos Atlantic Plaza de Brownsville, Brooklyn. Según Moran, los responsables de la propiedad utilizan el reconocimiento facial para controlar lo que consideran sospechoso, acosando a los residentes señalados por el software. Cree que pretenden ir más allá, utilizando el sistema para entrar en apartamentos privados con el pretexto de la seguridad.

En Londres, Silkie Carlo es la directora de Big Brother Watch, una organización que vigila el uso de la Inteligencia Artificial de reconocimiento facial por parte de las fuerzas del orden británicas. Carlo ha sido abogada y es consciente de cómo se violan las libertades civiles con esta tecnología, más cuando a pie de calle su organización constata el creciente número de ciudadanos que son identificados erróneamente.

Según el documental, nueve empresas (6 norteamericanas y 3 chinas) están construyendo el futuro de la Inteligencia Artificial.

sesgo codificado los 9 de IA

En la actualidad, 117 millones de estadounidenses ya han subido sus fotos a una red de reconocimiento facial que es consultada por la policía mediante algoritmos cuya exactitud no se audita. Un pequeño número de corporaciones está creando un futuro distópico en el que obtienen beneficios, mientras que personas que no saben lo que están haciendo utilizan su software con el resultado de que alguien que pase delante de la cámara acabe siendo identificado como criminal.

sesgo codificado cara identificada

Esta amenaza inminente de autoritarismo -especialmente contra los pobres- motiva a Buolamwini a recopilar toda su investigación en lo que ella llama el estudio de género/sombras, que utiliza una lente de la interseccionalidad para comprobar los puntos débiles del sesgo en los algoritmos.

En declaraciones en el Festival de Cine de Sundance, la directora explicó que su documental no intenta asustar a la gente, sino informar de las cosas que se deben saber. Por eso, si bien podría pensarse que el contenido podría haberse tratado igual de bien, e incluso con más intensidad, en 60 minutos, los interludios de animación y las referencias familiares a la ciencia ficción sirven para que los conceptos técnicos sean accesibles a los espectadores no especializados.

"La biología no es el cuerpo, es el discurso sobre el cuerpo", escribió Donna Haraway en 1997 para evidenciar que la objetividad o neutralidad en el conocimiento científico es irreal. Todas las personas representamos parcialmente el mundo y la realidad que percibimos desde nuestro subjetivo punto de vista. El problema aparece cuando se toman estas representaciones parciales y se establecen como regla general.

Para enseñar a ver a las máquinas les ofrecemos ejemplos de lo que queremos que aprendan pero todos tenemos sesgos inconscientes que se acaban plasmando en la tecnología. La inteligencia artificial, bajo una aparente objetividad, está situada en un contexto donde ha existido históricamente una brecha entre hombres y mujeres, además de la exclusión de grupos minoritarios.

Kantayya toma con maestría un material que a priori podría resultar árido y académico y lo convierte en cinematográfico. A destacar la comparativa entre Estados Unidos y China, lugares que lideran el desarrollo de la IA, el aprendizaje automático y los sistemas de puntuación. La diferencia, como señala la película, es que China es en realidad un poco más transparente, utilizando una puntuación de crédito social draconiana como política social, mientras que Apple, Google, Amazon, Facebook y otros están desarrollando estas herramientas para uso privado y comercial como una caja negra.

El enfoque cambiante de la IA.

La primera fase comenzó durante la Conferencia de Dartmouth (1956) y se centró en técnicas relacionadas con la 'Resolución general de problemas' (GPS). Este enfoque asumía que cualquier problema que pudiera escribirse en código de programación, ya fuera una demostración de un teorema matemático, una partida de ajedrez o encontrar la distancia más corta de una ciudad a otra, podía resolverse. Estos problemas implicarían la representación de este conocimiento en un formato informático legible y, luego, la búsqueda a través de posibles estados hasta encontrar una solución. Por ejemplo, a la hora de jugar ajedrez existiría una representación simbólica del tablero, las piezas, los posibles movimientos y los mejores movimientos basados en la heurística de partidas previas, etc. En el transcurso de una partida la búsqueda localizaría el mejor movimiento. Sin embargo, a pesar de resultar muy prometedor en sus inicios, el enfoque GPS pronto se quedó sin energía pues a medida que los problemas aumentaban de tamaño, el número de combinaciones de búsqueda crecía exponencialmente.

La segunda fase en la investigación intentó encontrar formas de facilitar la búsqueda, reduciendo o acotando el espacio y, al mismo tiempo, tratando de encontrar formas de representar el conocimiento en la IA. Durante este periodo de la IA se consiguieron algunos éxitos en la investigación. Fundamentalmente, cabe destacar el caso de Shrdlu (1968-1970) y el caso del robot Shakey (1966-1972).

No obstante, la IA experimentaría un retroceso cuando el informe Lighthill, publicado en el Reino Unido en 1973, presentó una visión muy negativa acerca de las ventajas prácticas de la IA. En los Estados Unidos y en el resto del mundo se manifestaron recelos similares acerca de la IA.

Sin embargo, en 1982, reconociendo las posibles ventajas de la IA, los japoneses renovaron las esperanzas con un gran proyecto denominado "Proyecto de Sistemas Informáticos de Quinta Generación" (FGCS). Se trataba de un proyecto muy ambicioso tanto en hardware como en software que incluía entornos de software inteligente y procesamiento paralelo de quinta generación. Este proyecto sirvió como catalizador para el interés en la IA en el resto del mundo. En los Estados Unidos, Europa y el Reino Unido se desarrolló un movimiento centrado en la construcción de Sistemas Basados en Conocimiento Inteligente (IKBS). Dichos sistemas también se denominan "sistemas expertos". El catalizador para esta actividad en el Reino Unido fue el proyecto ALVEY (1984-1990). Se trataba de un gran proyecto colaborativo financiado por el gobierno, la industria y el comercio en el Reino Unido que intentaba probar la viabilidad del uso de los IKBS en más de 200 sistemas de demostración.

Esto allanó el camino para una tercera fase en la investigación centrada en los IKBS que confiaba en el conocimiento basado en el dominio específico para resolver problemas de IA. Con los IKBS, un problema podía resolverse incorporando en los IKBS el conocimiento del dominio correspondiente a dicho problema. Dicho conocimiento podía adquirirse a partir de expertos humanos en este dominio o por otros medios. A menudo, esta clase de conocimiento se escribe en forma de reglas. El conjunto de reglas y hechos que conforman este conocimiento se denominó "base de conocimiento". Luego, un motor de inferencia en software utilizaría dicho conocimiento para extraer conclusiones. El enfoque mediante IKBS tuvo un gran impacto en aquel momento y muchos de estos sistemas tales como R1, MYCIN, Prospector y muchos otros tuvieron un uso comercial.

No obstante, los IKBS presentaban algunos defectos, por ejemplo, su incapacidad de aprender y, en algunos casos, la estrechez percibida de su enfoque. La capacidad de aprender resulta importante ya que los IKBS deben actualizarse con regularidad. Realizar esta tarea de forma manual consume muchísimo tiempo. Los sistemas IKBS tienen un enfoque estrecho ya que no tienen la posibilidad de aprovechar el conocimiento basado en el "sentido común" que posee un experto humano. Esto significa que muchos de estos sistemas eran muy competentes a la hora de resolver problemas en márgenes muy estrechos de sus respectivos campos de conocimiento pero cuando se enfrentaban a un problema inusual que requería conocimiento vinculado al sentido común, colapsaban. Los expertos en IA se dieron cuenta de que los sistemas expertos carecían del sentido común de los seres humanos. Se trataba de un importante impedimento para el éxito de la IA pues dichos sistemas se consideraban "frágiles".

Para intentar resolver este problema se desarrollaron diversos proyectos. El primero fue el proyecto CYC (1991). Se trataba de un proyecto de IA muy ambicioso que intentaba representar el conocimiento relacionado con el sentido común de manera explícita. El propósito de CYC era permitir que las aplicaciones de IA llevaran a cabo razonamientos aplicando el sentido común como los seres humanos. Sin embargo, el proyecto CYC tenía ciertas deficiencias, una de las cuales estaba relacionada con las ambigüedades del lenguaje humano. Otros enfoques más recientes se basan en lo que ha dado en denominarse "big data", utilizando en ocasiones un modelo de fuente abierta para capturar datos en la Web. Por ejemplo, ConceptNet (2004) captura conocimiento basado en el sentido común conteniendo un montón de elementos que los ordenadores deberían conocer acerca del mundo y permitiendo que los usuarios introduzcan conocimientos de forma adecuada.

El software de IA denominado Redes Neurales Artificiales (RNA) no utiliza conocimiento explícito almacenado como reglas de funcionamiento. En su lugar, las RNA utilizan conocimiento que está codificado en parámetros numéricos -denominados pesos- y se distribuye en muchas conexiones. A diferencia de la IA simbólica, las RNA tienen características de "caja negra" ya que no pueden explicar su razonamiento de la misma forma que lo hacen los programas simbólicos de IA. No obstante, debido a sus capacidades de "aprendizaje automático", se han convertido en el paradigma dominante de IA. El paradigma de aprendizaje que subyace en las RNA se parece mucho a la manera en que aprenden los seres humanos. Asimismo, las RNA siguen algo que ha dado en denominarse la regla de Hebb que afirma que cada vez que se toma una decisión correcta los patrones neuronales se refuerzan. A menudo, esto se expresa diciendo que "las neuronas que se activan juntas se conectan entre sí", lo que significa que la práctica es el camino a la perfección.

La tecnología de las RNA se ha utilizado con éxito durante muchos años. El éxito de las RNA se deriva de la forma en que suelen aportar ideas más allá de las capacidades humanas, como es el caso del reconocimiento de patrones que solo resulta posible mediante análisis de aprendizaje automático. Desde 1997 a 2017, las aplicaciones utilizadas habitualmente han sido los programas para detectar correos spam o las relacionadas con la actividad denominada "minería de datos", consistente en descubrir patrones en los datos, lo que conduce a mejorar la toma de decisiones. Las técnicas de minería de datos se utilizan frecuentemente en áreas de venta al por menor.

Las RNA que utilizan algoritmos no supervisados han tenido un gran impacto en el campo de la IA. Se están utilizando RNA de aprendizaje profundo en distintos dominios, incluyendo las aplicaciones médicas de reconocimiento de imágenes, los coches autónomos y la robótica. Entre los usos más destacados se incluyen los programas inteligentes de asistencia personal para teléfonos inteligentes, como es el caso de Alexa de Amazon, Cortana de Microsoft y Siri de Apple. Sus características varían, pero habitualmente reconocen datos de voz y permiten la interacción, la reproducción de música o la configuración de recordatorios, al tiempo que proporcionan enlaces de voz a los contactos de la base de datos de clientes, etc.

Los algoritmos, un reflejo de la sociedad.

Ante el uso de inteligencia artificial se plantean una serie de cuestiones morales, como el riesgo que presentan para la población civil los drones militares operados mediante inteligencia artificial, o los problemas que puede causar una IA que aprende patrones inadecuados de comportamiento.

Un estudio llevado a cabo en EEUU ha demostrado que los programas de reconocimiento facial que funcionan mediante inteligencia artificial tienen tendencias racistas, lo cual puede llevar a graves problemas de seguridad.

El estudio (NIST Interagency Report 8280, de 19 de diciembre de 2019) ha sido realizado por el Instituto Nacional de Estándares y Tecnología o NIST, organismo perteneciente al Gobierno de EEUU, y ha analizado casi doscientos algoritmos de reconocimiento facial desarrollados por diferentes compañías, incluyendo varios pertenecientes a Intel y Microsoft.

Y los resultados son poco prometedores: casi la totalidad de los algoritmos analizados discriminan de modo obvio contra personas de color. El principal problema encontrado en la mayoría de ellos es que los algoritmos identifican incorrectamente a personas de minorías raciales.

Patrick Grother, investigador del NIST, señala que en comparación con personas blancas, una persona de color tiene cien veces más probabilidades de ser identificada de modo incorrecto por programas con inteligencia artificial. Este comportamiento por parte de los programas de IA afectaba particularmente a personas negras, asiáticas y nativo americanas.

Vídeos

El documental plantea el problema, tanto en términos personales como globales, de que los algoritmos pueden tener un sesgo inherente e involuntario, no sólo debido a los puntos ciegos de quienes trabajan en estos programas (una profesión dominada por programadores masculinos caucásicos en una determinada franja de edad), sino debido a los factores que los datos no están examinando. Así, los algoritmos de (re)ingreso en prisión pueden asignar una puntuación de riesgo a los delincuentes basándose en el código postal, prevaleciendo los datos demográficos sobre el nivel de educación y el historial laboral. A menudo estas soluciones se venden con acuerdos de confidencialidad que mantienen el código de programación alejado de los auditores e investigadores que evalúan la viabilidad de lo que se vende como una solución libre de prejuicios humanos. Y lo hace explorando las consecuencias del asombroso descubrimiento de Joy Buolamwini, investigadora del MIT Media Lab, de que el reconocimiento facial no ve los rostros de piel oscura con precisión y la sigue en su viaje para impulsar en los Estados Unidos una legislación contra el sesgo en los algoritmos de reconocimiento facial.

Trailer

Noviembre, 2016. La estudiante de posgrado del MIT Joy Buolamwini estaba trabajando con un software de análisis facial cuando se dio cuenta de un problema: el software no detectaba su cara, porque las personas que codificaron el algoritmo no le habían enseñado a identificar una amplia gama de tonos de piel y estructuras faciales. Ahora tiene la misión de luchar contra los prejuicios en el aprendizaje automático, un fenómeno que denomina "mirada codificada". Es una charla reveladora sobre la necesidad de responsabilidad en la codificación... a medida que los algoritmos se hacen cargo de más y más aspectos de nuestras vidas.

TED: How I'm fighting bias in algorithms | Joy Buolamwini

27 de marzo de 2019. Joy Buolamwini, fundadora de la Liga de Justicia Algorítmica, en la Cumbre de Igualdad de Bloomberg en Nueva York. A medida que el uso de la inteligencia artificial se hace omnipresente en nuestra vida cotidiana, hay cada vez más pruebas de sesgo en las entradas de datos. Joy Buolamwini habla de su misión para combatir lo que ella llama "la mirada codificada": el sesgo lesivo en la IA.

The Coded Gaze: Bias in Artificial Intelligence | Equality Summit

22 de mayo de 2019. El Comité de Supervisión y Reforma de la Cámara de Representantes celebró la primera de una serie de audiencias sobre el impacto en los derechos y libertades civiles del uso de la tecnología de reconocimiento facial por parte del gobierno y de entidades comerciales. Los testigos hablaron de los defectos de la tecnología, incluidos los programas que no pueden identificar con precisión a las personas de color y a las mujeres. Otras preocupaciones planteadas fueron la falta de regulación y supervisión de la tecnología, el modo en que las fuerzas del orden utilizan el reconocimiento facial, el temor a la elaboración de perfiles raciales y los problemas de privacidad que plantea el uso de la tecnología por parte de Facebook, Uber y Amazon.

House Hearing on Facial Recognition Technology

6 de febrero de 2020. Presidente Thompson, miembro de rango Rogers y miembros del Comité, soy Chuck Romine, director del Laboratorio de Tecnología de la Información (ITL) del Instituto Nacional de Normas y Tecnología (NIST) del Departamento de Comercio. El ITL cultiva la confianza en la tecnología de la información y la metrología a través de mediciones, normas y pruebas. Gracias por la oportunidad de comparecer hoy ante ustedes para hablar del papel del NIST en las normas y pruebas de la tecnología de reconocimiento facial.

Facial Recognition Technology (FRT)

 

18
Foro

Foro Histórico

de las Telecomunicaciones

Contacto

logo COIT
C/ Almagro 2. 1º Izq. 28010. Madrid
Teléfono 91 391 10 66 coit@coit.es
logo AEIT Horizontal
C/ General Arrando, 38. 28010. Madrid
Teléfono 91 308 16 66 aeit@aeit.es

Copyright 2021 Foro Histórico de las Telecomunicaciones