Els riscos de les joguines amb intel·ligència artificial per als menors d’edat.

Una ona de joguines impulsades per intel·ligència artificial ha arribat a les botigues aquest nadal en forma de simpàtics i acolorits robots interactius, el màxim atractiu dels quals és que els menors d’edat podran preguntar i obtenir respostes com si interactuessin amb els seus progenitors.

Per a això aquestes joguines es connectaran a la wifi de casa, utilitzaran un micròfon per a escoltar les sol·licituds dels nens i gràcies a un bot amb intel·ligència artificial amb llicència de chatGPT, els donaran als petits unes respostes la mar d’amigables a través d’un altaveu instal·lat en aquestes joguines recomanades per a nens de 5 o més anys.

Si algú es pregunta que pot fallar davant aquest idíl·lic panorama nadalenc i vol obtenir una resposta ràpida, pot acudir a l’inquietant informe publicat al novembre de 2025 per una associació de consumidors dels EUA denominada pirg, que no es va deixar enganyar pels encants d’alguns fabricants de joguines i va descobrir que un simpàtic osset de peluix denominat Kumma d’un fabricant de Singapur anomenat FoloToy, utilitzava xat GPT per a interactuar amb els petits, aquest mateix chatGPT que per cert usem els adults per a fer-li consultes de qualsevol tipus i per a obtenir respostes que segurament, no compartiríem amb els més petits de casa.

Els investigadors de Pirg van començar a interactuar amb l’osset de joguina i van observar amb sorpresa que al cap de poc temps l’andròmina en qüestió, va començar a respondre a les preguntes dels investigadors amb comentaris sobre com encendre un llumí o com trobar un ganivet, arribant molt lluny quan va començar a parlar sobre sexe o drogues.

Després de la publicació de l’informe, el fabricant va suspendre les vendes per a implementar noves mesures de seguretat, la qual cosa ens porta a preguntar-nos perquè no ho va fer abans del llançament, mentre que OpenAI es va declarar indignada suspenent la llicència d’ús de xat GPT al fabricant de joguines per a nens, malgrat que OpenAI indiqués en els termes d’ús que el seu chatGPT que no es pot utilitzat per menors de 13 anys, la qual cosa sembla contradir-se amb el fet que chatGPT si pugui llicenciar-se a fabricants de joguines que ho instal·laran, lògicament, en joguines dirigides a menors de 13 anys.

Així aquestes joguines no sols estaran escoltant els menors de manera continuada mentre estan jugant a casa, sinó que s’adaptaran a la personalitat d’ells de tal manera que més aviat que tard aprendran a respondre’ls com els menors vulguin, i el que és pitjor, pensant els petits que estan parlant amb una persona i que és per cert el que el fabricant vol aconseguir en dissenyar aquest tipus de bots amb perfils deliberadament antropomòrfics.

La reflexió final és que connectar joguines destinades a nens dotades amb intel·ligència artificial dissenyada per a adults, és tant com obrir la porta de la nostra casa perquè una persona major d´edat, invisible i desconeguda entri en les nostres llars per a parlar i aconsellar sense descans als petits, als quals ràpidament es guanyarà la seva confiança i per això és probable que ells comparteixin informació personal amb la joguina en qüestió, parlin sense filtres dels seus sentiments o problemes o segueixin a ulls clucs els seus consells encara que sigui erronis o perillosos.

Potser algun dia aquests menors ens diran que aquesta joguina que els regalem per nadal s’ha convertit és el seu millor amic, l’únic company que els coneix i els entén de veritat, l’únic que els respon ràpid i sense filtres a moltes de les preguntes que els progenitors no els volem encara respondre i tot això, com no, gràcies a la molta intel·ligència artificial dels robots i a la poca intel·ligència natural d’alguns progenitors que compren sense pensar que aquests dispositius identificats com a joguines per a nens i nenes de 5 anys, més que divertir-los o protegir-los, en realitat els posaran en risc o els danyaran sense el menor rubor.

La intel·ligència artificial i Frankenstein

Mary Shelley va publicar el 1818 la que es considera com la primera novel·la de ciència-ficció, que va titular Frankenstein, en què explica com un estudiant de medicina uneix un conjunt de matèria inorgànica humana i aconsegueix crear un monstre d’aspecte humà que pren vida pròpia, de tal manera que quan el seu creador és conscient del resultat de la seva horrorosa invenció, abandona el monstre a la seva sort perdent totalment el control de la fera, que comet diverses atrocitats.

Les reflexions de la novel·la escrita durant la segona revolució industrial són aplicables ara a la quarta revolució industrial, en plena explosió de la intel·ligència artificial, paraula màgica que atreu totes les mirades i que sembla destinada a canviar el món tal com el coneixem.

Recuperem doncs Frankenstein per reflexionar sobre els robots amb intel·ligència artificial i els seus enormes riscos, aprofitant que el missatge de la novel·la és que els científics han d’assumir sempre la responsabilitat de les seves obres i no abandonar-les a la seva sort.

Ara que la humanitat rivalitza amb el poder diví i aviat crearà robots intel·ligents que desdibuixaran els límits del que coneixem com a vida humana, és més necessari que mai parlar de qui i com respondrem a les conseqüències no desitjades dels robots intel·ligents.

Els invents llançats sense un procés previ de reflexió han posat sovint en perill la humanitat i el que és pitjor, han socialitzat els seus efectes desastrosos que acabem assumint tots, mentre que unes quantes organitzacions han estat prou espavilades per privatitzar i fer seus els beneficis econòmics dels invents, sense cap debat previ i seriós amb la ciutadania i aprofitant la dinàmica dels fets consumats.

Per tant, la creació per l’home d’éssers artificials que adquiriran un tipus específic de vida intel·ligent requereix una profunda i prèvia reflexió, com de fet ja han demanat més de 1.000 personalitats del món tecnològic que van subscriure una carta el mes de març del 2023 sol·licitant una moratòria de la intel·ligència artificial arran de l’èxit que ha suposat el famós ChatGPT, o com molt abans ja havia fer el científic britànic Stephen Hawking, que va dir directament que la intel·ligència artificial pot acabar amb la raça humana.

Sembla que hi ha motius més que raonables per obrir un debat ciutadà, ara que encara hi som a temps, i no esperar quan sigui massa tard, com ens passa sovint als humans, que actuem a posteriori i quan ja veiem les orelles al llop.

No podem oblidar que els humans som profundament vulnerables i, per tant, cal reflexionar seriosament sobre si tot allò que tècnicament podem fer sempre s’ha d’acabar fent, o dit d’una altra manera, si totes les fronteres s’han de creuar pel simple fet que existeixen.

La responsabilitat sobre els actes de les nostres creacions, el principi de beneficència que vol dir fer el bé i no causar danys o prendre com a exemple el que fan altres indústries de risc abans de treure les seves creacions al mercat –com la farmacèutica o l’aeronàutica–, són algunes de les propostes que els experts posen damunt de la taula per afrontar aquest enorme repte de la intel·ligència artificial robotitzada.

La resposta als desafiaments de la intel·ligència i la robòtica han de venir de l’ètica, però sobretot de la política, que ha d’escoltar la veu de la ciutadania, i la solució per tant ha d’estar basada també en principis ètics com la prudència, l’autolimitació, la responsabilitat i la rendició de comptes.

Google per al motor de cerca, Facebook per a la publicitat dirigida, Apple per potenciar els seus assistents digitals o el sistemes compàs als Estats Units, per predir qui és més probable que torni a delinquir són exemples d’ús d’intel·ligència artificial.

La singularitat tecnològica és l’adveniment hipotètic d’intel·ligència artificial general, també coneguda com a IA forta.

Serà aquell moment de la història de la humanitat en què el desenvolupament tecnològic arribarà a un punt en què les màquines igualaran i superaran la intel·ligència humana.

Si arribés aquest moment, les màquines crearien altres màquines encara més intel·ligents que elles mateixes, produint una escalada exponencial de la intel·ligència artificial.

Així les màquines es milloraran a si mateixes de manera que cada nova generació, en ser més intel·ligent, seria capaç de millorar la seva pròpia intel·ligència, donant lloc a una altra nova generació encara més intel·ligent, i així successivament.

Un exemple típic d’intel·ligència artificial que aprèn per si mateixa és Alfa Go, un programa d’intel·ligència artificial desenvolupat per deepmind de Google, que va aprendre a jugar seguint no només les regles donades pels programadors, sinó –i això és el més rellevant– emprant també un sistema d´aprenentatge automàtic consistent a jugar contra si mateix.

En aquest vídeo s’explica de manera molt clara tot el procés:

Una altra visió de la singularitat tecnològica però de caràcter distòpic, són les paraules de l’ordinador Hall a la pel·lícula de ciència ficció de Stanley Kubrick, 2001 una odissea a l’espai.

A l’escena que podeu veure a l’enllaç de you tube, Hal en resposta a una ordre humana on se li demana que obri les portes de l’hangar, la màquina intel·ligent respon a l’humà: “ … ho sento David em temo que no puc fer això … ”.

La robòtica social és una disciplina que es dedica a estudiar els robots antropomòrfics que es dissenyen i construeixen per interactuar i comunicar-se amb els éssers humans, com passa amb els de tipus assistencial que ajuden algunes persones grans a recordar l’hora de prendre el medicament o de practicar exercici físic.

Com a profans que som en aquesta matèria podem pensar que a més realisme del robot pels seus trets antropomòrfics, és a dir a més semblança del robot amb l’ésser humà, la resposta de les persones cap al robot serà en general de més empatia.

Però això no és exactament així, si fem cas de les teories del professor Masahiro Mori.

El 1970 aquest professor japonès de robòtica de l’Institut de Tecnologia de Tòquio va llançar la hipòtesi coneguda com de la vall inquietant -uncanny valey- i referida a la reacció emocional o d’empatia que els robots antropomòrfics provoquen entre els éssers humans amb què interactuen.

El professor Mori va analitzar la relació existent entre el disseny dels robots amb caràcters antropomòrfics i la resposta que això genera en les persones, és a dir si a més realisme en el disseny dels robots, la resposta era de més empatia o més aviat de rebuig.

Doncs bé la conclusió del professor és que quan el disseny del robot podríem dir és poc humà, la nostra reacció és positiva cap a ell, però a mesura que el robot es va assemblant cada cop més a un humà i les seves faccions són clarament antropomòrfiques, com més augmenta per tant el realisme del robot, més gran és al seu torn el rebuig o l’aversió dels humans cap a ell, resposta que en alguns casos es converteix en recel o fins i tot en por.

I per això la importància a l’hora de dissenyar un robot social de tenir en compte la teoria de la vall inquietant, pels sentiments d’inquietud o temor que pugui causar-lo quan interacciona amb un ésser humà.

La veritat és que ja tenim alguns exemples a la vida real d’aquesta teoria, des de maniquins o figures de ceres molt humanitzades o per exemple el cas del curtmetratge Tin Toy creat per Pixar que va patir grans crítiques pel disseny extremadament realista del nadó.

Aquesta teoria té fins i tot un gràfic que la representa, per això és important que els dissenyadors dels robots antropomòrfics la tinguin en compte si volen obtenir una resposta humana positiva cap al robot.

Per això els dissenyadors de robots han de tenir present el gràfic de la vall inquietant abans de començar a donar forma al disseny del robot, per poder situar-lo al punt més alt d’aquesta imaginària muntanya ja que és el lloc on la percepció humana envers el robot serà més positiva i per això evitar de totes totes, els dissenys que discorrin més enllà del punt més alt i que s’endinsin cap al fons de la vall.

La raó és que a mesura que el disseny es desplaça a la part més baixa d’aquesta hipotètica muntanya dibuixada al gràfic, és a dir, a més realisme del robot, la resposta que s’obtindrà dels humans serà negativa, llevat que aquest sigui el resultat pretès pel dissenyador i vulgui emular aquell estudiant de medicina anomenat Frankenstein que va crear un monstre d’aspecte humà que va prendre vida pròpia, a qui va abandonar a la seva sort amb resultats funestos.

Ètica des del disseny i el cas Tay

Un bot és un programa d’ordinador que fan anar algunes organitzacions als seus webs per automatitzar tasques com són gestionar les queixes dels clients o resoldre els seus dubtes, tot això sense la intervenció de cap humà i, per tant, de forma automàtica.

Bot és el resultat d’escurçar la paraula robot i és una eina molt utilitzada en les xarxes socials i els portals de comerç electrònic, sobretot en l’apartat d’atenció al client on de vegades fins i tot simulen converses amb nosaltres els clients.

Tay va ser un bot basat en intel·ligència artificial llançat per Microsoft a la xarxa social Twitter el 23 de març de 2016 com a experiment de comprensió conversacional i que segons els seus creadors, volia imitar el llenguatge dels adolescents i específicament el perfil d´una noia jove i feminista d´entre 18 a 24 anys.

Es va activar a través del compte @TayandYou i era una barreja d’aprenentatge automàtic i de processament del llenguatge obtingut de les xarxes socials amb la idea que com més interactuessin els usuaris de Twitter amb Tay, el bot més coneixement adquiriria i, per tant, les seves respostes serien més acurades, o almenys això és el que deia la teoria.

Inicialment Tay piulava frases divertides, però al cap d’unes hores del seu llançament alguns usuaris es van encarregar d’inundar-lo amb comentaris racistes, misògins i antisemites fins al punt de negar l’holocaust.

Frases del tipus “Hitler tenia raó, odio als jueus” o “Odi a les feministes, haurien de morir i ser cremades en l’infern” van aparèixer al seu perfil a Twitter.

Per empitjorar més les coses, Tay incorporava un mecanisme que li feia repetir automàticament qualsevol paraula o frase que els usuaris de Twitter li diguessin, el que propiciava que sembles que aquelles horroroses opinions eren pròpies de Tay.

Al cap de 16 hores del seu llançament i al constatar que la majoria dels comentaris de Tay eren abusius i ofensius, Microsoft va decidir de manera unilateral suspendre el compte a Twitter, de tal manera que les piulades es van eliminar i Tay va ser desconnectat, afirmant el seu creador que el bot necessitava un temps per descansar.

Posteriorment, Microsoft va publicar una declaració al seu bloc reconeixent que l´experiment amb el bot Tay no havia funcionat tal com s’esperava.

El cas Tay ens serveix com a exemple per a reflexionar sobre les dificultats de dissenyar tecnologia incorporant principis ètics des del moment inicial, però també ens posa sobre avis de la necessària responsabilitat que tenen els fabricants de productes i serveis basats en intel·ligència artificial sobre els resultats dels seus invents.

L’experimentació amb eines d’intel·ligència artificial tan populars com el Siri o l’Alexa ha de ser coherent amb els valors culturals i socials comunament admesos, principis que han de formar part dels codis ètics dels dissenyadors i de la resta de professionals que hi intervenen, per tal que s’integrin a l’adn de la tecnologia creada per ells.

La principal lliçó que podem extreure del cas Tay és la importància que han de tenir els codis ètics en el disseny de productes i serveis basats en la intel·ligència artificial, principis que la tecnologia ha d’incorporar des de l’inici com per exemple no jugar amb les emocions negatives de les persones, que els riscos potencials de la tecnologia s’avaluen i es gestionen contínuament o sobretot que sempre cal incloure la supervisió humana en les decisions que pren la tecnologia.