¿Son sexistas los algoritmos? La pregunta quizá parezca absurda. Pero los algoritmos, creados por seres humanos para ser usados en la inteligencia artificial (IA), no están exentos de estereotipos. Pueden transmitir prejuicios sexistas o racistas y también pueden contribuir a promover la causa de la igualdad. Eso es lo que demuestran Aude Bernheim y Flora Vincent en su libro, que lleva por título L’intelligence artificielle, pas sans elles !
Entrevista realizada por Agnès Bardon
UNESCO
¿Cómo llegaron a interesarse en los aspectos de género de la inteligencia artificial (IA)?
Aude Bernheim: Al principio, nuestra reflexión se centró en los vínculos existentes entre la igualdad de género y las ciencias. En 2013 fundamos la asociación WAX Science o WAX (What About Xperiencing Science) para poner en tela de juicio la posible influencia de la discriminación sexual en los equipos científicos sobre los resultados de la ciencia y la tecnología. Nuestra labor en materia de inteligencia artificial se deriva de esa reflexión.
Lo cierto es que no nos sorprendió realmente descubrir que había prejuicios de género en esas tecnologías, porque también existen en muchos otros ámbitos. No había motivo alguno para que la inteligencia artificial fuera la excepción. Pero las consecuencias son múltiples y van más allá de los asuntos que suelen relacionarse con la igualdad profesional o la nivelación de salarios. Los estereotipos contenidos en los algoritmos pueden ejercer una repercusión negativa sobre la selección de candidaturas –descartando a priori a las mujeres de los puestos técnicos–, las propuestas de salarios e incluso sobre los diagnósticos médicos.
Flora Vincent: Los equipos científicos carecen de diversidad; eso es un fenómeno conocido. Pero lo que se conoce mucho menos es que esa falta de diversidad tiene determinadas consecuencias sobre la manera en que las investigaciones se llevan a cabo o sobre los temas que se escogen. Hace poco, una historiadora de las ciencias estadounidense, Londa Schibinger, realizó varios trabajos sobre el tema y demostró que mientras más mujeres participaban en un equipo de investigación, mayores eran las probabilidades de que los aspectos de género se tuvieran en cuenta en el estudio en cuestión.
No son pocos los ejemplos de esta discriminación en el contexto de la investigación científica. Cabe mencionar al respecto el caso de los medicamentos que se prueban más a menudo en ratones machos, porque estos tienen menos hormonas y se considera que, por esa razón, resulta más fácil medir los efectos secundarios. Otro ejemplo: en los simulacros de accidentes se emplean muñecos de un metro 70 de alto y 70 kilogramos de peso, es decir, maniquíes que representan la estatura y la corpulencia promedio de los hombres, con lo cual los cinturones de seguridad no tienen en cuenta determinados aspectos de la anatomía femenina presentes, por ejemplo, durante el embarazo.
¿Acaso la informática es, desde sus inicios, una disciplina mayoritariamente masculina?
Aude Bernheim: No, no siempre fue así. A principios del siglo XX, la informática era una disciplina que requería de un gran número de cálculos, bastante engorrosos. Por entonces, era frecuente que esas operaciones se encargaran a las mujeres. Cuando aparecieron los primeros ordenadores, las mujeres estaban a la vanguardia. En esa época la labor informática no se consideraba demasiado prestigiosa. En 1984, todavía las mujeres representaban el 37% del personal empleado en tareas de informática en los Estados Unidos. A modo de comparación, en 2018 los cursos de informática en Francia apenas contaban con un 10% de mujeres y actualmente se calcula que representan alrededor del 12% del personal en el sector de la inteligencia artificial.
En realidad, en el decenio de 1980 se produjo un cambio notable con la aparición del ordenador personal (PC). A partir de ese momento, la informática adquirió una importancia económica hasta entonces desconocida. La dimensión lúdica de los ordenadores surgió también en esos años y dio origen a un imaginario cultural muy masculino, centrado en torno a la figura del geek (joven adicto a la informática). Ese movimiento doble fue acompañado de una marginación de la mujer. Lo que demuestra que la afinidad de los varones por los ordenadores no es una cuestión natural, sino un fenómeno cultural, resultado de una elaboración.
Cabría pensar que, por su propia naturaleza, los algoritmos son neutros. ¿En qué medida esas fórmulas matemáticas contribuyen a reproducir prejuicios sexistas?
Aude Bernheim: Muy pronto, los observadores dieron la voz de alerta sobre los prejuicios contenidos en los algoritmos. Por ejemplo, señalaron que los programas informáticos de traducción propendían a asignar un sexo a las profesiones: la expresión inglesa “the doctor” se traducía al español por “el médico” (género masculino), mientras que “the nurse” se traducía como “la enfermera” (género femenino). Cuando aparecieron las auxiliares de voz –lo mismo Alexa que Siri o Cortana– todas llevaban nombres femeninos y respondían a las instrucciones de manera bastante sumisa, incluso cuando el usuario las injuriaba (véase el recuadro).
En 2016, la investigadora afroamericana del Instituto de Tecnología de Massachusetts (MIT) Joy Buolamwini se interesó por los algoritmos de reconocimiento facial. Sus trabajos pusieron de manifiesto que esos sistemas se “entrenaban” con bancos de datos en los que predominaban las fotografías de hombres blancos. Por ese motivo los algoritmos eran menos eficaces cuando se trataba de mujeres negras o de hombres asiáticos. Puede afirmarse que si Buolamwini hubiera formado parte del equipo que elaboró esos algoritmos, el resultado habría sido diferente.
Flora Vincent: Codificar un algoritmo es como escribir un texto, una tarea en la que hay una parte de subjetividad, que se manifiesta en la selección de las palabras y los giros lingüísticos, aunque uno tenga la impresión de que escribe un texto muy objetivo. Para identificar los prejuicios, nuestra operación consistió en diseccionar las diversas fases de lo que se denomina “el contagio sexista”. Porque en el origen de un algoritmo prejuiciado no existe una causa única; al contrario, es el fruto de una concatenación de causas que intervienen en las distintas etapas de su elaboración. En efecto, si las personas que codifican, prueban, encargan y utilizan un algoritmo no son conscientes de esos posibles prejuicios, tienden a reproducirlos. Porque, en la gran mayoría de los casos, esas personas no se han propuesto discriminar a nadie. La mayor parte del tiempo, no hacemos otra cosa que reproducir los estereotipos inconscientes forjados a lo largo de nuestra vida y nuestra educación.
¿Existe hoy una toma de conciencia sobre la parcialidad que contienen determinados productos de la IA?
Aude Bernheim: La IA es un campo que evoluciona muy rápido, tanto la tecnología en sí como la reflexión sobre su uso. En comparación con otras disciplinas, la problemática de la discriminación ha surgido muy pronto. Apenas tres años después del inicio de la fiebre del algoritmo, los observadores dieron la voz de alerta sobre el trato diferenciado que ofrecían algunas de estas fórmulas. En la comunidad científica, ese es ya un tema en sí mismo, que da pábulo a numerosos debates y trabajos de investigación orientados a la detección de los prejuicios y la repercusión de los algoritmos, desde puntos de vista éticos, matemáticos e informáticos. De un tiempo acá esta toma de conciencia se refleja también en la prensa de información general. No todos los problemas están resueltos, pero sí están definidos, y su definición permite poner en marcha la búsqueda y aplicación de soluciones.
¿Cómo podrían obtenerse algoritmos más igualitarios?
Aude Bernheim: Para empezar, es preciso operar sobre los bancos de datos, para que lleguen a representar cabalmente a toda la diversidad de la población. Algunas empresas ya lo hacen y trabajan sobre bancos de datos que tienen en cuenta las diferencias de sexo, nacionalidad o morfología. Como consecuencia de los trabajos publicados sobre las lagunas de los programas informáticos de reconocimiento facial, las compañías han actualizado sus algoritmos para que sean más inclusivos. También se han creado empresas especializadas en la elaboración de herramientas que permiten evaluar los algoritmos y determinar si contienen prejuicios.
Flora Vincent: Al mismo tiempo, en los medios científicos y de investigación se empieza a reflexionar sobre la manera de realizar una evaluación más independiente y sobre la necesidad de transparencia en materia de algoritmos. Hay quienes, como Joy Buolamwini, sostienen que es preciso elaborar y generalizar un código inclusivo, de la misma forma que existe una escritura inclusiva.
Entre las iniciativas existentes, cabe citar también la labor que realiza el colectivo Data for Good, que reflexiona acerca de los medios de poner los algoritmos al servicio del interés general. Este colectivo redactó una carta de ética titulada “El juramento hipocrático para los científicos de la informática”, que establece una lista de parámetros específicos que es preciso verificar antes de aplicar un algoritmo para asegurarse de que no es discriminatorio. Es importante apoyar las iniciativas de este tipo.
¿Podría la IA, al final de este proceso, llegar a ser un ejemplo de lucha contra los prejuicios?
Aude Bernheim: En cierto sentido, sí, en la medida en que nos hemos concienciado muy rápidamente de los prejuicios que pueden generar las nuevas tecnologías. La IA está provocando una revolución en nuestras sociedades, de modo que también puede inducir una evolución positiva. La IA facilita la gestión y el análisis un gran volumen de datos. Eso permitió, por ejemplo, que Google creara en 2016 un algoritmo para cuantificar la duración de las intervenciones femeninas en las grandes producciones cinematográficas estadounidenses, y demostrar así que las mujeres estaban subrepresentadas en esas películas. Pero, al mismo tiempo, es preciso introducir una mayor diversidad de género en los equipos que elaboran esos algoritmos. Sin embargo, en la actualidad, debido a un conjunto de razones relacionadas sobre todo con los fenómenos de autocensura de las jóvenes en lo tocante a las carreras científicas o al sexismo que prevalece en las empresas de alta tecnología, muy pocas mujeres cursan estudios de informática. Todavía pasará algún tiempo antes de que logremos invertir esa tendencia.
Flora Vincent: Sin duda, hay que educar a los algoritmos, pero la simple modificación de algunas líneas del código no será suficiente para solucionar los problemas. Es preciso tener en cuenta que, si en los equipos dedicados a esta tarea no existe diversidad de género, no habrá voluntad alguna de realizar una codificación que fomente la igualdad.
Democratizar la IA en África, El Correo de la UNESCO, julio-septiembre de 2018
