Ética desde el diseño y el caso Tay

Un bot es un programa de ordenador que usan algunas organizaciones en sus webs para automatizar tareas como son gestionar las quejas de los clientes o resolver sus dudas, todo ello sin la intervención de ningún humano y, por tanto, de forma automática.

Bot es el resultado de recortar la palabra robot y es una herramienta muy utilizada en las redes sociales y los portales de comercio electrónico, sobre todo en el apartado de atención al cliente en el que a veces incluso simulan conversaciones con nosotros los clientes.

Tay fue un bot basado en inteligencia artificial lanzado por Microsoft en la red social Twitter el 23 de marzo de 2016 como experimento de comprensión conversacional y que según sus creadores, quería imitar el lenguaje de los adolescentes y específicamente el perfil de una chica joven y feminista de entre 18 a 24 años.

Se activó a través de la cuenta @TayandYou y era una mezcla de aprendizaje automático y de procesamiento del lenguaje obtenido de las redes sociales con la idea de que cuanto más interactuaran los usuarios de Twitter con Tay, el bot más conocimiento adquiriría y, por tanto, sus respuestas serían más cuidadosas, o al menos eso es lo que decía la teoría.

Inicialmente Tay tuiteaba frases divertidas, pero al cabo de unas horas de su lanzamiento algunos usuarios se encargaron de inundarlo con comentarios racistas, misóginos y antisemitas hasta el punto de negar el holocausto.

Frases del tipo «Hitler tenía razón, odio a los judíos» o «Odio a las feministas, deberían morir y ser quemadas en el infierno» aparecieron en su perfil en Twitter.

Para empeorar más las cosas, Tay incorporaba un mecanismo que le hacía repetir automáticamente cualquier palabra o frase que los usuarios de Twitter le dijeran, lo que propiciaba que pareciera que aquellas horrorosas opiniones eran propias de Tay.

Al cabo de 16 horas de su lanzamiento y al constatar que la mayoría de los comentarios de Tay eran abusivos y ofensivos, Microsoft decidió de forma unilateral suspender la cuenta en Twitter, de tal modo que los tuits se eliminaron y Tay fue desconectado, afirmando su creador que el bot necesitaba un tiempo para descansar.

Posteriormente, Microsoft publicó una declaración en su blog reconociendo que el experimento con el bot Tay no había funcionado tal y como se esperaba.

El caso Tay nos sirve como ejemplo para reflexionar sobre las dificultades de diseñar tecnología incorporando principios éticos desde el momento inicial, pero también nos pone sobre aviso de la necesaria responsabilidad que tienen los fabricantes de productos y servicios basados en inteligencia artificial sobre los resultados de sus inventos.

La experimentación con herramientas de inteligencia artificial tan populares como Siri o Alexa debe ser coherente con los valores culturales y sociales comúnmente admitidos, principios que deben formar parte de los códigos éticos de los diseñadores y del resto de profesionales que intervienen, para que se integren en el adn de la tecnología creada por ellos.

La principal lección que podemos extraer del caso Tay es la importancia que deben tener los códigos éticos en el diseño de productos y servicios basados en la inteligencia artificial, principios que la tecnología debe incorporar desde el inicio como por ejemplo no jugar con las emociones negativas de las personas, que los riesgos potenciales de la tecnología se evalúan y se gestionan continuamente o sobre todo que siempre es necesario incluir la supervisión humana en las decisiones que toma la tecnología.

Mary Shelley publicó el año 1818 la que se considera como la primera novela de ciencia ficción y que tituló Frankenstein, en que explica cómo un estudiante de medicina une un conjunto de materia inorgánica humana y consigue crear un monstruo de aspecto humano que toma vida propia, de tal manera que cuando su creador es consciente del resultado de su horrorosa invención, abandona el monstruo a su suerte perdiendo totalmente el control de la fiera, que comete varias atrocidades.

Las reflexiones de la novela escrita durante la segunda revolución industrial son aplicables ahora en la cuarta revolución industrial, en plena explosión de la inteligencia artificial, palabra mágica que atrae todas las miradas y que parece destinada a cambiar el mundo tal como lo conocemos.

Recuperamos pues a Frankenstein para reflexionar sobre los robots con inteligencia artificial y sus enormes riesgos, aprovechando que el mensaje de la novela es que los científicos tienen que asumir siempre la responsabilidad de sus obras y no abandonarlas a su suerte.

Ahora que la humanidad rivaliza con el poder divino y pronto creará robots inteligentes que desdibujarán los límites de lo que conocemos como vida humana, es más necesario que nunca hablar de quién y cómo responderemos a las consecuencias no deseadas de los robots inteligentes.

Los inventos lanzados sin un proceso previo de reflexión han puesto a menudo en peligro a la humanidad y lo que es peor, han socializado sus efectos desastrosos que acabamos asumiendo todos, mientras que unas cuántas organizaciones han sido lo bastante hábiles para privatizar y hacer suyos los beneficios económicos de los inventos, ello sin ningún debate previo y serio con la ciudadanía y aprovechando la dinámica de los hechos consumados.

Por lo tanto, la creación por el hombre de seres artificiales que adquirirán un tipo específico de vida inteligente requiere una profunda y previa reflexión, como de hecho ya han pedido más de 1.000 personalidades del mundo tecnológico que subscribieron una carta el mes de marzo del 2023 solicitante una moratoria de la inteligencia artificial a raíz del éxito que ha supuesto el famoso ChatGPT, o como mucho antes ya había expuesto el científico británico Stephen Hawking, que dijo directamente que la inteligencia artificial puede acabar con la raza humana.

Parece que hay motivos más que razonables para abrir un debate ciudadano, ahora que todavía estamos a tiempo y no esperar a cuando sea demasiado tarde, como nos pasa a menudo a los humanos que actuemos a posteriori y cuando ya vemos las orejas al lobo.

No podemos olvidar que los humanos somos profundamente vulnerables y, por lo tanto, hay que reflexionar seriamente sobre si todo aquello que técnicamente podemos hacer siempre se tiene que acabar haciendo, o dicho de otro modo, si todas las fronteras se tienen que cruzar por el simple hecho que existan.

La responsabilidad sobre los actos de nuestras creaciones, el principio de beneficencia que quiere decir hacer el bien y no causar daños o tomar como ejemplo lo que hacen otras industrias de riesgo antes de lanzar sus creaciones al mercado –como la farmacéutica o la aeronáutica–, son algunas de las propuestas que los expertos ponen encima de la mesa para afrontar este enorme reto de la inteligencia artificial robotizada.

La respuesta a los desafíos de la inteligencia y la robótica tienen que venir de la ética, pero sobre todo de la política, que tiene que escuchar la voz de la ciudadanía y por ello la solución tiene que estar basada también en principios éticos como la prudencia, la autolimitación, la responsabilidad y la rendición de cuentas.

La familia digital ha participado de las celebraciones del Día Mundial de las Telecomunicaciones, Internet y la Sociedad de la Información de 2022 Este año estaba dedicado a tecnologías digitales para un envejecimiento saludable.
Hemos hablado de ética digital desde el diseño para personas mayores, el día 12 de mayo de 16.15 a 19h en el Recinto Ferial Gran Via.
Organizado por la Asociación Catalana de Ingeniería de Telecomunicación y Tecnologías Digitales (Telecos.cat), el Colegio Oficial de Ingeniería en Informática de Cataluña (COEINF) y Ones Asociación Catalana de Ingenieros Técnicos de Telecomunicación (GrausTIC)

La constatación que algunos algoritmos que utiliza la inteligencia artificial fallan a la hora de reconocer a las personas de color, pone de relieve las dificultades que aún existen para incluir la diversidad racial en los productos y servicios que usamos de manera habitual en el mundo digital.

Las máquinas toman cada vez más decisiones de manera autónoma y por ello, preocupa que los algoritmos perpetúen en el mundo digital las mismas conductas de discriminación racial provenientes del mundo analógico y que los algoritmos tomen decisiones claramente discriminatorias.

Para ilustrar el debate es interesante el video del caso del dispensador de jabón que utiliza un sensor para detectar cuándo una mano se sitúa debajo:

https://www.youtube.com/watch?v=YJjv_OeiHmo

El dispensador no plantea problemas cuando la mano es de color blanco ya que dispensa el jabón sin dificultad alguna, pero curiosamente ese sensor no puede detectar la mano de un cliente negro.

Si fuese posible tirar hacia atrás en el tiempo para intentar comprender la causa de este sesgo racial, seguramente el problema se creó -y no se detectó- en la propia fase de diseño del dispensador, cuando la empresa que lo concibió tenia en mente como prototipo a un solo tipo de usuario ideal, sin pensar en reflejar a la diversidad de la población a la que iba dirigido.

Y seguramente la composición del grupo de personas que hizo el diseño de la máquina expendedora de jabón tampoco era equitativa, pues nos aventuramos a asegurar que había una clara infrarrepresentación de personas de color, tanto en la fase de diseño como en la de entrenamiento del modelo, ya que posiblemente el mismo no se testeó con una variedad amplia de tonos de piel y posiblemente ninguna de color negro.

El sesgo posiblemente estuvo presente en la fase de diseño y también en la elección de los datos que se utilizaron para entrenar a la máquina expendedora de jabón.

La falta de representación de la realidad de las personas que iban a utilizar ese servicio como clientes o dicho de otra manera, la homogeneidad racial del equipo creador del diseño se apunta como una de las causas del sesgo.

En este caso las consecuencias no fueron graves, pero en otros supuestos las consecuencias de las decisiones tomadas pueden ser complicadas de asumir.

Para evitar perpetuar las situaciones de discriminación racial es clave el diseño inclusivo, la promoción de la diversidad en el equipo que crea y entrena la máquina y sobretodo, la aplicación efectiva de principios de la ética digital como la equidad, la transparencia, la confiabilidad y la no discriminación, herramientas todas ellas que se apuntan como indispensables para evitar que los sesgos raciales se transfieran de manera automática a los algoritmos y con ello, a las decisiones que las máquinas toman y que nos afectan como personas.

Los darkpatterns o patrones oscuros son aquellas prácticas de diseño engañosas, creadas expresamente para forzar a los usuarios de una web o una app a realizar acciones que en otras circunstancias no harían, y que tienen normalmente como finalidad manipular de forma más o menos consciente la voluntad del usuario.

El término fue creado por el diseñador de experiencia de usuario Harry Brignull en el año 2010: www.darkpatterns.org

En este perfil de twiter podemos ver ejemplos:  https://twitter.com/darkpatterns

Se trata de anuncios disfrazados de vídeos, de ofertas de bajos precios que no muestran los costes adicionales, de diseños que desorientan al usuario a la hora de cancelar un producto o de darse de baja de la cuenta, de productos que de forma misteriosa se cuelan en el carrito de la compra, de diseños que empujan al usuario a aceptar tratamientos poco respetuosos con la privacidad o de suscripciones gratuitas que para disfrutarlas obligan a introducir la tarjeta de crédito, pero que después es complicado darse de baja cuando se quiere cancelar el servicio.

Desde el punto de vista legal son habituales en la políticas de privacidad de las redes sociales el uso de términos redactados de tal manera que son difíciles de entender, o que omiten información relevante en la primera capa y que obligan al usuario a ir haciendo clic a diversos enlaces para poder tener una comprensión aproximada de la política de tratamiento de datos personales, diseños legales que claramente infringen la normativa en protección de datos personales.

La finalidad de estos patrones siempre es incrementar las ventas o tratar más datos de los necesarios y van mas allá de las técnicas de simple persuasión o de marketing inteligente, sin que en ningún caso se trate de simples errores de programación.

Los diseñadores tienen un papel relevante frente a la presión de los clientes ante este fenómeno, para hacerles comprender que el uso de este tipo de estrategias no hace más que crear desconfianza y frustración y que los consumidores y usuarios son conscientes de los portales que utilizan estas técnicas.

Finalmente no debemos olvidar que un simple tuit de un cliente descontento puede convertirse en viral y suponer un grave riesgo reputacional y económico para la organización.

 

Nos preguntamos a través de estas notas si existe alguna vinculación entre el éxito en la transformación digital de una organización, con la adopción por parte de la misma y desde el inicio del proyecto, de una visión ética en las decisiones tecnológicas implantadas, o dicho de otra manera si una transformación digital que se defina como tal, puede ser sostenible en el tiempo sin incorporar los principios de la ética digital o de la denominada responsabilidad digital corporativa.

La ética puede ser definida como aquel conjunto de valores humanos que en forma de reglas, estándares, creencias o normas, nos ayudan a las personas a determinar cuando una acción es correcta y cuando no lo es, principios éticos que influyen en la forma en que los individuos pensamos y actuamos y que por tanto, como humanos que somos, aplicamos en las decisiones de nuestro día a día.

La presencia de principios éticos es un elemento esencial en las organizaciones con las que interactuamos de forma habitual y así nos convertimos en defensores de las mismas cuando tienen valores éticos bien definidos y sus actuaciones con nosotros son congruentes con los mismos.

Por el contrario desconfiamos cuando no es así como el caso del robot Tay lanzado por Microsoft en Twitter, o cuando Google recopiló datos de niños que usaban YouTube para mostrarles anuncios personalizados o finalmente con lo sucedido con todo el lío de Facebook y Cambridge Analitics.

Siendo la ética un concepto algo borroso en general, lo cierto es que en la práctica todos nosotros conocemos, aplicamos y exigimos en nuestra vida diaria que las decisiones que se toman por las organizaciones y que nos afectan, estén inspiradas en principios éticos tales como la confianza, la integridad, la no discriminación, la transparencia, la rendición de cuentas, la libertad de elección, el respecto a la diversidad de las personas o el no hacer daño, entre otros.

La transformación digital por el contrario puede entenderse como la integración de la tecnología digital en todas las áreas de negocio de una organización, para garantizar así la viabilidad y el éxito de la misma en el entorno digital y ello se consigue situando a los datos y a los clientes en el centro de las decisiones de la misma.

Cuando aunamos la ética y la transformación digital o simplemente cuando hablamos de ética digital, no nos referimos solo a cuestiones de cumplimiento normativo consistentes en no infringir la ley o en incorporar la opinión de expertos en tecnologías disruptivas en los proyectos de transformación digital, sino que hacemos referencia a los numerosos desafíos éticos que plantean las tecnologías disruptivas involucradas en la transformación digital y sus efectos en la vida de las personas.

Tecnologías tales como los vehículos autónomos, la inteligencia artificial, la robótica, el internet de la cosas, el big data, entre otras, cuando forman parte de las soluciones tecnológicas adoptadas en los proyectos de transformación digital, generan interesantes debates éticos como el cada vez mayor contacto automatizado y menor humano de las organizaciones con sus clientes, siendo ejemplo de ello el reciente caso del jubilado Carlos San Juan y su exitosa protesta contra la banca por la clamorosa falta de cajeros automáticos en muchos pueblos de España.

Otros debates abiertos en la misma línea son por ejemplo, como formar a los empleados afectados por los procesos de transformación digital para que adquieran nuevas habilidades digitales o los cambios en los roles en los mismos y el futuro que les espera a los que no puedan seguir el ritmo de la transformación digital, conflictos entre principios éticos y valores empresariales que no han hecho más que empezar.

A veces la ley ya fija una serie de principios que intentan resolver algunos de estos dilemas éticos, como sucede en el campo de la protección de datos personales donde tanto el convenio 108 del año 1981 como el reglamento 2016/679, han normativizado los principios de rendición de cuentas, transparencia, confidencialidad, seguridad, información, entre otros.

Otras veces son las propias organizaciones las que se intentan asumir internamente esta tarea.

En algunas de ellas, simple y llanamente, no existen ni códigos éticos ni una mínima cultura sobre la ética digital por lo que de manera informal y tácita delegan en las propias personas involucradas en la transformación digital -sobretodo en los tecnólogos-, la toma de las decisiones para resolver los conflictos que tiene que ver con la ética digital, de tal manera que los debates éticos se plantean y se resuelven por parte de las personas que están al frente de los proyectos de transformación digital y por tanto, no se escalan a los responsables de las organizaciones, con la dificultad añadida que la cultura, las creencias o la educación de cada persona en particular, hace que sus soluciones -acertadas o no- puedan diferir a veces con el propósito, la misión o la visión fijados por la propia organización.

Otras organizaciones si que han afrontado este interesante reto a través de códigos éticos que guían su comportamiento corporativo en materia digital -a veces como simples herramientas de marketing-, mientras que en otras ocasiones la ética digital si que forma parte del ADN de la organización como componente esencial de su cultura corporativa y que por tanto, impregna el propósito, la visión y la misión de la misma y se convierte en el foco que ilumina y marca el camino por donde deben discurrir las respuestas a los debates con consecuencias éticas en el entorno digital.

En las organizaciones más maduras -las menos- la ética digital ya está presente desde el mismo diseño de la propuesta de transformación digital, afectando a todo su ciclo de vida en forma de compromiso asumido por parte de la alta dirección, lo que supone integrar la ética, no como una opción o valorar añadido a modo de complemento adicional, sino como un requisito que impregna todo el proyecto y que por tanto aparece reflejado en todas la soluciones en las que el ser humano esté involucrado o afectado de manera indirecta.

Estas organizaciones éticas digitalmente hablando, están dirigidas por líderes comprometidos con los aspectos éticos de la tecnología y  son la conciencia digital de la organización, ya que aúnan en sus decisiones los objetivos estratégicos con los principios éticos.

Si la transformación digital tiene como objetivo cambiar a las personas y a las organizaciones, será imprescindible añadir una visión ética a todo el proceso si queremos conseguir que esa transformación sea sostenible en el tiempo y ello sucederá solo cuando las personas y sus principios éticos se vean contemplados y respetados en la nueva organización y en todas sus decisiones, sean digitales o no.

@ Ramon Arnó Torrades, Lleida, 2022.

Ramon arnó ha participado en el Forum internacional de educación y tecnología (FIET) en los años 2014 y 2018:

a.- En 2014 en Tarragona, centrado en la ética y la tecnología.

El enlace: https://fietcat.cat/es/linenine

b.- en 2017 en Barcelona, ​​hablando de educación, ética y civismo digital

El enlace: https://fiet2018.fietcat.cat/

Participación el día 2-11-2009 en las xxiv jornadas de bioética hablando de los aspectos legales y jurídicos del consentimiento informado.

El enalce: http://www.medicina.udl.cat/ca/

El Ayuntamiento de Tarragona organizó el 10-7-2014 Ciberàgora 2014, edición centrada en las cuestiones de la ética y el uso cívico de las nuevas tecnologías, abordando los riesgos y peligros que plantean, y las oportunidades que se abren para hacerle frente.
Ramón Arnó participó con una novela titulada qué es delito en Internet

Ayer estuvimos en la jornada de presentación de la Carta catalana para los derechos y las responsabilidades digitales, una herramienta viva y dinámica con vocación normativa y de contribución al debate global

La jornada:

http://smartcatalonia.gencat.cat/ca/projectes/ciutadania/eTic/etic2019/

La carta:

https://participa.gencat.cat/uploads/decidim/attachment/file/1523/Carta_catalana_per_als_drets_i_les_responsabilitats_digitals_2.pdf