Ètica digital i biaixos en el disseny de productes: el cas del dispensador de sabó.
La constatació que alguns algorismes que utilitza la intel·ligència artificial fallen a l’hora de reconèixer les persones de color, posa en relleu les dificultats que encara existeixen per incloure la diversitat racial en els productes i serveis que fem servir de manera habitual al món digital.
Les màquines prenen cada vegada més decisions de manera autònoma i per això preocupa que els algorismes perpetuïn en el món digital les mateixes conductes de discriminació racial provinents del món analògic i que els algorismes prenguin decisions clarament discriminatòries.
Per il·lustrar el debat és interessant el vídeo del cas del dispensador de sabó que utilitza un sensor per detectar quan una mà se situa a sota:
El dispensador no planteja problemes quan la mà és de color blanc, ja que dispensa el sabó sense cap dificultat, però curiosament aquest sensor no pot detectar la mà d’un client negre.
Si fos possible tirar enrere en el temps per intentar comprendre la causa d’aquest biaix racial, segurament el problema es va crear -i no es va detectar- en la mateixa fase de disseny del dispensador, quan l’empresa que el va concebre tenia al cap com a prototip un sol tipus d’usuari ideal, sense pensar a reflectir la diversitat de la població a qui anava dirigit.
I segurament la composició del grup de persones que va fer el disseny de la màquina expenedora de sabó tampoc era equitativa, ja que ens aventurem a assegurar que hi havia una clara infrarepresentació de persones de color, tant a la fase de disseny com a la d’entrenament del model, ja que possiblement el mateix no es va testejar amb una varietat àmplia de tons de pell i possiblement cap de color negre.
El biaix possiblement va estar present a la fase de disseny i també a l’elecció de les dades que es van utilitzar per entrenar a la màquina expenedora de sabó.
La manca de representació de la realitat de les persones que utilitzarien aquest servei com a clients o dit altrament, l’homogeneïtat racial de l’equip creador del disseny s’apunta com una de les causes del biaix.
En aquest cas, les conseqüències no van ser greus, però en altres supòsits les conseqüències de les decisions preses poden ser complicades d’assumir.
Per evitar perpetuar les situacions de discriminació racial és clau el disseny inclusiu, la promoció de la diversitat a l’equip que crea i entrena la màquina i sobretot, l’aplicació efectiva de principis de l’ètica digital com l’equitat, la transparència, la confiança i la no discriminació, eines totes que s’apunten com a indispensables per evitar que els biaixos racials es transfereixin de manera automàtica als algoritmes i amb això, a les decisions que les màquines prenen i que ens afecten com a persones.
