Ética digital y sesgos en el diseño de productos: el caso del dispensador de jabón.
La constatación que algunos algoritmos que utiliza la inteligencia artificial fallan a la hora de reconocer a las personas de color, pone de relieve las dificultades que aún existen para incluir la diversidad racial en los productos y servicios que usamos de manera habitual en el mundo digital.
Las máquinas toman cada vez más decisiones de manera autónoma y por ello, preocupa que los algoritmos perpetúen en el mundo digital las mismas conductas de discriminación racial provenientes del mundo analógico y que los algoritmos tomen decisiones claramente discriminatorias.
Para ilustrar el debate es interesante el video del caso del dispensador de jabón que utiliza un sensor para detectar cuándo una mano se sitúa debajo:
https://www.youtube.com/watch?v=YJjv_OeiHmo
El dispensador no plantea problemas cuando la mano es de color blanco ya que dispensa el jabón sin dificultad alguna, pero curiosamente ese sensor no puede detectar la mano de un cliente negro.
Si fuese posible tirar hacia atrás en el tiempo para intentar comprender la causa de este sesgo racial, seguramente el problema se creó -y no se detectó- en la propia fase de diseño del dispensador, cuando la empresa que lo concibió tenia en mente como prototipo a un solo tipo de usuario ideal, sin pensar en reflejar a la diversidad de la población a la que iba dirigido.
Y seguramente la composición del grupo de personas que hizo el diseño de la máquina expendedora de jabón tampoco era equitativa, pues nos aventuramos a asegurar que había una clara infrarrepresentación de personas de color, tanto en la fase de diseño como en la de entrenamiento del modelo, ya que posiblemente el mismo no se testeó con una variedad amplia de tonos de piel y posiblemente ninguna de color negro.
El sesgo posiblemente estuvo presente en la fase de diseño y también en la elección de los datos que se utilizaron para entrenar a la máquina expendedora de jabón.
La falta de representación de la realidad de las personas que iban a utilizar ese servicio como clientes o dicho de otra manera, la homogeneidad racial del equipo creador del diseño se apunta como una de las causas del sesgo.
En este caso las consecuencias no fueron graves, pero en otros supuestos las consecuencias de las decisiones tomadas pueden ser complicadas de asumir.
Para evitar perpetuar las situaciones de discriminación racial es clave el diseño inclusivo, la promoción de la diversidad en el equipo que crea y entrena la máquina y sobretodo, la aplicación efectiva de principios de la ética digital como la equidad, la transparencia, la confiabilidad y la no discriminación, herramientas todas ellas que se apuntan como indispensables para evitar que los sesgos raciales se transfieran de manera automática a los algoritmos y con ello, a las decisiones que las máquinas toman y que nos afectan como personas.
