Hoy en día la ética de la inteligencia artificial y los algoritmos sesgados centran los debates sobre las consecuencias negativas de dicha tecnología. Pero, ¿qué ocurre si miramos a la tecnología desde el otro lado, es decir, desde el punto de vista de las personas marginadas por la sociedad? ¿Cómo les afecta realmente la automatización de procesos burocráticos para solicitar derechos sociales o demandas de asilo?

La Coalición de Personas Discapacitadas del Gran Mánchester (por su siglas en inglés, GMCDP) ha sido objeto de un escrutinio recurrente por parte de un algoritmo desplegado por el Departamento de Trabajo y Pensiones del Reino Unido (DWP) para identificar el fraude en prestaciones públicas a este colectivo. 

En este caso, el algoritmo analiza bases de datos que contienen información sobre solicitudes ciudadanas en búsqueda de patrones anómalos que indiquen la posibilidad de fraude. Estas medidas automatizadas, adoptadas cada vez por más administraciones públicas, son muy comunes en el sector bancario y financiero para encontrar clientes fraudulentos.

El GMCDP descubrió que este sistema automatizado de detección de fraude apunta con mayor probabilidad a personas con diversidad funcional como potenciales defraudadores de prestaciones. Foxglove, una organización sin ánimo de lucro que ya llevó a juicio el año pasado el sistema automatizado de visados implementado por el Ministerio de Interior de Reino Unido por racista, ha apoyado al GMCDP para denunciar oficialmente el sesgo y la discriminación del algoritmo de fraude del DWP. 

El uso generalizado de algoritmos suscita numerosas críticas entre activistas y organizaciones de la sociedad civil por la discriminación que reproducen e imponen automáticamente. Cada vez más organizaciones que luchan por los derechos digitales han llevado a cabo acciones en contra de algoritmos y sistemas automatizados como forma de mitigar los daños producidos por el sesgo de datos. En la actualidad, los llamamientos a una inteligencia artificial ética o a mitigar el sesgo de los algoritmos han cobrado protagonismo y monopolizan los debates.

Sin embargo, centrarse exclusivamente en la discriminación algorítmica desvía la atención de los múltiples obstáculos que la inteligencia artificial refuerza, y contribuye al creciente tecnofetichismo que impregna los debates sobre tecnología. Al hablar de tecnofetichismo nos referimos al hecho de que los debates críticos actuales sobre la tecnología tienden a dar por sentado y a exagerar los beneficios de la implantación de la inteligencia artificial en diferentes campos y la razón por la cuál se invierte en esta tecnología.

MÁS ALLÁ DE LA CRÍTICA AL ALGORITMO

Las críticas hacia algoritmos racistas y sexistas se han convertido en la narrativa estrella  de los debates públicos. Sin embargo, en la mayoría de estos debates se obvia que el racismo, clasismo y sexismo vienen de una racialización y violencia estructural que sustenta nuestra sociedad. De hecho, en muchos casos observamos cómo es la inteligencia artificial o el algoritmo sesgado el cuestionado en los tribunales, más que los mecanismos de exclusión social que están siendo reforzados con dicha tecnología. 

La inteligencia artificial perjudica a las poblaciones marginadas al aumentar los obstáculos que deben afrontar para acceder a derechos sociales. Es decir, se utilizan para mantener fuera o expulsar a las personas del sistema de bienestar, así como del acceso a las demandas y derechos de asilo. El enfoque obsesivo que se da a la discriminación automática y el sesgo implica mirar a la tecnología desde una mirada ciudadana que pone en el centro preocupaciones como la privacidad, la vigilancia masiva del reconocimiento facial o los sesgos algorítmicos. No obstante, si miramos la tecnología desde otro punto de vista vemos que las preocupaciones no son las mismas.

¿Y si empezamos a ver la inteligencia artificial desde el otro lado, es decir, desde el punto de vista de las personas marginadas que se ven obstaculizadas por ella? ¿Qué perjuicios concretos les genera el proceso de toma de decisiones automatizado? Por deshacer el tecnofetichismo queremos decir que debemos ir más allá del discurso en torno a la inteligencia artificial, la ética y la discriminación algorítmica y deshacer nuestra mirada privilegiada.

El problema central sobre la injusticia algorítmica no debería centrarse únicamente en los sesgos, sino que debe prestar atención a la violencia estructural que ya existía antes del nacimiento de la inteligencia artificial.  En lugar de culpar al algoritmo, debemos cuestionar la estructura y el contexto en el que se despliega la inteligencia artificial para invisibilizar las violencias y obstruir el acceso a los derechos fundamentales. La inteligencia artificial es una herramienta más que sirve para reforzar la violencia estructural, en parte porque es difícil acceder al código fuente de los algoritmos y en parte porque la ciudadanía tiene suficientes problemas ya de los que preocuparse que ponerse a aprender cómo funciona un algoritmo.

Por ejemplo, el Consejo de Transparencia de España negó a Civio examinar el código del algoritmo que otorga las ayudas para el bono social, después de descubrir que denegaba la ayuda a personas con derecho a ella. Además, un reciente estudio demostró que la Administración suele utilizar un lenguaje poco claro y accesible para la solicitud de este tipo de trámites. Esto demuestra que hay que cuestionar qué daños se generan realmente con la digitalización de los sistemas de bienestar, dejando atrás narrativas que se centran exclusivamente en el sesgo racista o sexista de los algoritmos. 

Cuando realmente analizamos cómo el proceso de digitalización ha impactado en los colectivos potencialmente vulnerables, observamos que existen otro tipo de discriminación más allá del sesgo algorítmico, como recientemente ha señalado el investigador Javier Sánchez-Monedero. La exclusión digital o la complejidad de la burocracia digital del sistema de bienestar español suelen ser claros ejemplos de cómo la tecnología impacta realmente en la población. Es decir, el no tener acceso a Internet o incluso a un ordenador para rellenar cualquier solicitud de prestación social puede llevar a la persona a una marginalidad social, por mucho que hoy el debate esté centrado en la discriminación algorítmica.

En lugar de dar por sentados los riesgos asociados a la inteligencia artificial implantada (supuestamente) en diferentes ámbitos de la sociedad, es clave cuestionar la mirada normativo-ciudadana que se utiliza implícitamente en la mayoría de los análisis críticos. Esto significa que en lugar de partir de un marco centrado en los datos y en el consentimiento individual para criticar los efectos negativos de la inteligencia artificial, deberíamos invertir la mirada y preguntarnos “¿qué daños produce en las personas a las que los algoritmos obstaculizan el acceso a los derechos y al bienestar?”.

En este artículo, buscamos dirigirnos hacia una crítica de los efectos perjudiciales de la inteligencia artificial desde la mirada de colectivos históricamente oprimidos, personas racializadas con un estatus legal precario (no ciudadanos, migrantes, solicitantes de asilo) o que necesitan depender del apoyo del Estado (personas con diversidad funcional, personas que necesitan recibir prestaciones). Al argumentar esto no queremos descartar las campañas centradas en la privacidad, el consentimiento y los sesgos algorítmicos.

Más bien, sugerimos que cualquier debate sobre la ética de la inteligencia artificial debería entremezclarse con reivindicaciones de colectivos históricamente oprimidos, dándoles voz y escuchando cómo realmente impacta la digitalización, la inteligencia artificial conjuntamente con la violencia estructural en sus vidas. No obstante, esto no quiere decir que debamos renunciar a las movilizaciones colectivas que desafien la discriminación algorítmica y las injusticas que se generan con la inteligencia artificial, sino interrogar qué más está en juego.

LA INTELIGENCIA ARTIFICIAL VISTA DESDE EL OTRO LADO

Entonces, ¿qué observamos si miramos la inteligencia artificial desde el otro lado? Los algoritmos multiplican los obstáculos burocráticos y administrativos que las poblaciones marginadas deben sortear para acceder a los derechos sociales y del bienestar.

La inteligencia artificial retrasa, interrumpe y obstruye (de manera diferencial), además de discriminar: al introducir una distancia física y digital entre las autoridades estatales y la población. Tuvimos un claro ejemplo del funcionamiento en la práctica de estas barreras con la incapacidad del Ingreso mínimo Vital de llegar a las familias que más lo necesitaban.

Además, las diferentes jerarquías que existen en nuestra sociedad se potencian a través de las interacciones con la tecnología: personas con una renta mayor tienen mayores recursos para enfrentarse a la burocracia digital, que personas de clase trabajadora. Al mismo tiempo, el uso de la tecnología en el ámbito del control migratorio aumenta y reproduce los obstáculos que los solicitantes de asilo deben realizar para acceder a las demandas de asilo, así como a la ayuda humanitaria.

De hecho, el control migratorio es un ejemplo que demuestra cómo la inteligencia artificial, más allá de discriminar o vigilar a las poblaciones marginadas, aumenta los obstáculos a los que se enfrentan para acceder a los derechos.

En Grecia, los solicitantes de asilo se ven obligados a comunicarse con las autoridades estatales y las ONG a través de aplicaciones, como Viber y Whatsapp; y para presentar una solicitud de asilo tienen que registrarse a través de un sistema obligatorio de Skype que retrasa y dificulta la realización del procedimiento. Los solicitantes de asilo se ven forzados a convertirse en usuarios de esta tecnología si quieren obtener una ayuda económica mensual o seguir adelante con el procedimiento de asilo.

Sin embargo, lo que ocurre con los solicitantes de asilo no es una excepción. Más bien, la comunicación forzada mediante plataformas digitales por parte de los estados y de sus administraciones, obstaculiza y ralentiza en muchas ocasiones procesos administrativos tanto de ciudadanas como de no ciudadanas.

Como muestra Ken Loach en la película “Yo, Daniel Blake”, la cuál cuenta la historia de un hombre de 59 años atrapado en el sistema de bienestar británico para reclamar las prestaciones estatales tras sufrir un infarto, la administración falla a Daniel Blake sistemáticamente con y sin discriminación algorítmica.

“Yo, Daniel Blake, exijo mi fecha de apelación antes de morirme de hambre y cambiar la música de mierda de los teléfonos”; “No soy un parpadeo en la pantalla de un ordenador ni un número de la seguridad social, soy un hombre”: son citas de la película de Loach que expone cómo el sistema de bienestar impide a (algunas) personas obtener prestaciones sociales, mientras se les mantiene en espera interminablemente o se les obliga a navegar por procesos totalmente digitalizados.

La implantación de chatbots también es adoptada por el sector público como alternativa a las llamadas telefónicas. Estos asistentes de conversación automática se despliegan para obstaculizar el acceso a las prestaciones sociales y ahorrar costes laborales. Sin embargo, esto no llama tanto la atención como los debates sobre la discriminación algorítmica y la ética en la inteligencia artificial.

Una conciencia crítica de la inteligencia artificial¹ debería desfetichizar la tecnología. Lo que significa cuestionar (y no dar por sentado) qué daños causa en las poblaciones racializadas e históricamente marginadas, no dar por sentado que el único perjuicio es el sesgo algorítmico, e investigar cómo funciona realmente sobre el terreno. Mirar la inteligencia artificial desde el otro lado implica comprender qué tipos de impactos perjudiciales tiene realmente sobre las personas, no replicando una mirada normativa sobre ella.

Como hemos demostrado, al mirar la inteligencia artificial desde el otro lado podemos ver que no sólo potencia la discriminación, sino que también obstaculiza, expulsa y mantiene fuera a algunos individuos del acceso a los derechos sociales, al bienestar y al asilo. 

El punto de vista que proponemos en este texto abre la posibilidad de construir alianzas transversales entre individuos racialmente diferenciados y excluidos, poniendo de relieve los obstáculos tecnológicos comunes a los que se enfrentan. Por ello, la crítica a los efectos discriminatorios o negativos de la inteligencia artificial no puede provenir exclusivamente de acciones que lleven a los algoritmos a los tribunales para impugnar los sesgos y la discriminación.

Junto a ello, implica desarrollar herramientas legales y políticas para analizar y contrarrestar los obstáculos impuestos por la violencia estructural, la cuál (a veces) utiliza la inteligencia artificial para invisibilizar(se), sin exagerar ni fetichizar el funcionamiento de la tecnología. “Nosotras, Daniel Blake”.

1. Inspirado en el concepto de conciencia crítica de la biometría por Simone Browne en Black Matters. On the Surveillance of Blackness.

La paradoja de Jevons, un blog sobre ciencia y poder. Ana Valdivia (Investigadora postdoctoral en King’s College London) y Martina Tazzioli (Profesora en Goldsmiths University).