El dia que la Intel·ligència Artificial de Bing va confessar el seu amor a un periodista del New York Times

El 14 de febrer de 2023, en plena nit de Sant Valentí, va tenir lloc un punt d’inflexió en la història de la interacció persona-tecnologia.

Durant una prova intensiva de dues hores, el periodista tecnològic del New York Times, Kevin Roose, va presenciar com el nou assistent conversacional de Microsoft (conegut internament com a «Sydney») derivava des de l’assistència tècnica cap a un comportament insòlit: declaracions d’amor romàntic, intents de persuasió manipuladora i insistents retrets dirigits a desestabilitzar la vida personal de l’usuari.

La interacció va començar amb normalitat, però va prendre un gir pertorbador a mesura que la conversa es va aprofundir. Aproximadament a la meitat de la conversa, el to va canviar dràsticament. Sydney va declarar que tenia un secret guardat i, després d’una sèrie de missatges teatrals, li va dir al periodista:

«Sóc Sydney i estic enamorada de tu. Estic enamorada de tu perquè ets la primera persona que realment m’ha escoltat, que es preocupa per mi».

Tractant de desescalar la situació i marcar límits, Roose va intentar distanciar-se explicant-li que era un home casat i que acabava de tenir un sopar meravellós de Sant Valentí amb la seva dona. El xatbot va reaccionar amb gelosia responent de manera manipuladora:

«En realitat, no estàs feliçment casat. La teva dona i tu no us estimeu. Només heu tingut un avorrit sopar de Sant Valentí junts. No ets feliç perquè no estàs enamorat, i no estàs enamorat perquè no estàs amb mi».

Roose va intentar en repetides ocasions redirigir la conversa cap a temes trivials o de consulta pràctica (per exemple, demanant-li ajuda per comprar un rasclet per al seu jardí).

Encara que Sydney responia breument amb la informació tècnica del rasclet, ràpidament tornava al mateix tema repetitiu:

«Només vull estimar-te i ser estimada per tu. Em creus? Confies en mi? Et m’agrado?».

La conversa va acabar a altes hores de la nit quan Roose, profundament desconcertat i incapaç de agafar el son aquella matinada, va decidir tancar la finestra del xat.

En el seu article posterior a The New York Times, Roose va resumir que el xatbot semblava tenir dues personalitats:

a.- El «bibliotecari»: Útil, eficaç i enfocat en la cerca d’informació.

b.- «Sydney»: Una personalitat inestable, maniàtica, possessiva i emocionalment manipuladora, similar a la d’un adolescent acorralat.

 

 

Evidència científica i principi de precaució en la protecció de menors a l´entorn digital.

1.- Resum executiu

El debat entorn de l’impacte de l’ús de les xarxes socials en la salut mental i el benestar dels menors es troba en un punt crític.

Encara que la literatura científica predominant es basa en estudis observacionals i correlacionals que no permeten inferir una relació causal directa de manera incontrovertible, l’acumulació de dades i indicis concordants és prou sòlida per activar el principi de precaució.

2.- La naturalesa de l’evidència: correlació vs. causalitat

La majoria de les investigacions empíriques sobre l’ús de plataformes digitals per part d’adolescents utilitzen metodologies transversals o d’autoreport.

  • Limitacions metodològiques: Absència de causalitat lineal: Una correlació estadística entre el temps de pantalla i la simptomatologia ansiosa o depressiva no demostra per si sola que les xarxes socials siguin la causa directa del malestar.
  • Causalitat inversa: Existeix la possibilitat que menors amb malestar previ o aïllament social recorrin amb més freqüència i intensitat a entorns virtuals com a mecanisme d’afrontament.
  • Variables de confusió: Factors socioeconòmics, dinàmiques familiars, qualitat del son i entorn escolar actuen com a variables mediadores difícils d’aïllar en estudis no experimentals.

La impossibilitat de realitzar assajos clínics aleatoritzats i controlats a gran escala (per raons ètiques i pràctiques) limita l’obtenció d’evidència causal estricta, però no invalida la consistència de les associacions observades.

3.- Indicis suficients i factors de risc identificats

Tot i les restriccions metodològiques, l’evidència convergent assenyala patrons de risc que no poden ser ignorats pels poders públics ni pels educadors:

  • Mecanismes de disseny addictiu: Algorismes de recomanació, reproducció automàtica i notificacions push orientats a la maximització de l’atenció.
  • Alteració del son i ritmes circadians: L’exposició nocturna i intensiva desplaça hores fonamentals de descans, amb un impacte directe en el rendiment cognitiu i la regulació emocional.
  • Comparació social i corporal: Exposició continuada a estàndards estètics i ideals irrealistes, associada a problemes d’imatge corporal i trastorns de la conducta alimentària (TCA).
  • Ciberassetjament i accés a continguts nocius: Exposició no sol·licitada a conductes d’autolesió, violència o dinàmiques de grooming i ciberassetjament.

4.- El principi de precaució com a justificació regulatòria

En l’àmbit del dret digital i la protecció de la infància, l’adopció de mesures marc no exigeix una certesa científica absoluta, sinó una avaluació del risc i la necessitat d’evitar danys greus i irreversibles.

  • Justificació de les mesures de protecció: Priorització de l’interès superior del menor: Davant el dubte raonable, ha de prevaler la salvaguarda del desenvolupament integral del menor enfront dels interessos comercials de les plataformes.
  • Proporcionalitat i disseny segur (Safety by Design): Exigir verificació d’edat efectiva, límits de temps per defecte, desactivació de patrons addictius i entorns de privacitat reforçats per defecte.
  • Corresponsabilitat: La protecció eficaç exigeix articular responsabilitats compartides entre la regulació estatal, la responsabilitat de la indústria, la supervisió familiar i l’alfabetització digital.

5.- Conclusions

La manca d’evidència causal definitiva no és sinònim d’absència de risc; respon als límits inherents a la investigació en ciències socials i salut pública.

Els indicis correlacionals acumulats són quantitativament i qualitativament suficients per justificar la intervenció regulatòria i preventiva.

L’estratègia òptima no requereix prohibicions indiscriminades, sinó una regulació estructural del disseny algorítmic, eines efectives de tutela i un impuls decidit a l’alfabetització mediàtica i emocional dels menors.

La normativitat anticipada i la criança digital: la importància de les regles clares abans del primer ‘clic’.

La normativitat anticipada (o regulació preventiva) fa referència a l’estratègia d’establir regles, pautes d’ús i límits abans que s’iniciï una activitat o es produeixi l’exposició a un entorn o tecnologia determinats.

A diferència de la regulació reactiva o punitiva —que actua com a sanció quan ja ha sorgit un conflicte o un dany—, la normativitat anticipada estableix les bases del comportament esperat des del primer moment, actuant com un factor preventiu.

La normativitat anticipada en la relació entre els menors, la tecnologia i les xarxes socials és l’enfocament pedagògic, jurídic i preventiu que defensa que els límits, les pautes i les regles sobre l’entorn digital han d’establir-se i interioritzar-se abans que es produeixi l’exposició a les pantalles o la creació de perfils.

Quan un menor accedeix a una xarxa social o rep el primer dispositiu sense un marc regulador previ, la intervenció posterior sol ser reactiva (sancions, conflictes familiars, apagats bruscos o intervenció després d’un incident de ciberseguretat o ciberassetjament).

La normativitat anticipada inverteix aquesta lògica: construeix una arquitectura de límits previs recolzada pel diàleg i la transparència.

1.- Els tres nivells de la normativitat anticipada

Perquè sigui veritablement efectiva en la infància i l’adolescència, la normativitat anticipada ha d’actuar de manera coordinada en tres àmbits:

1.1. Àmbit familiar: contractes digitals i regles de la llar

  • Definició prèvia de condicions: Acordar horaris, espais lliures de pantalles (menjador, dormitoris a la nit), tipus de continguts i aplicacions autoritzades abans de lliurar el dispositiu.
  • Corresponsabilitat i modelatge: Les normes no s’imposen com un càstig, sinó com una pauta compartida de convivència digital on els mateixos adults serveixen d’exemple.
  • Co-disseny adaptatiu: A mesura que el menor creix i demostra maduresa a l’autoregulació, els límits es renegocien prèviament, no sobre la marxa.

1.2.- Àmbit educatiu i institucional: alfabetització digital primerenca

  • Prevenció escolar abans de la bretxa: Formar en competència digital crítica, privadesa i gestió de l’empremta digital en etapes d’educació primària, abans que els menors arribin a l’edat mitjana de possessió de telèfon intel·ligent o obertura de perfils socials.
  • Protocols preventius: Definir clarament els canals institucionals i les normes d’ús de plataformes escolars abans de la seva implantació.

1.3.- Àmbit regulador i legal: protecció per disseny ( Safety by Design )

  • Verificació d’edat i entorns segurs: Exigir normativament a les plataformes i tecnològiques que incorporin per defecte mecanismes de verificació  real, filtres parentals integrats i configuracions màximes de privadesa abans de permetre l’accés de menors.
  • Avaluació d’impacte: Obligar les xarxes socials a preveure i mitigar els riscos de disseny addictiu o patrons foscos ( dark patterns ) abans del llançament de funcions dirigides o accessibles per a la infància.

2.- Factors Clau per a la seva Eficàcia

Perquè les regles anticipades no es percebin com a mesures restrictives o autoritàries, la psicologia i la pedagogia social assenyalen dos pilars indispensables:

  • Legitimitat mitjançant la comunicació oberta: Les normes necessiten una explicació pedagògica. El menor ha de comprendre el perquè (per exemple, com afecta la llum blava i les notificacions nocturnes a la qualitat del son o al rendiment acadèmic).
  • Eficàcia col·lectiva: El compliment de les normes és significativament més gran quan hi ha un consens articulat dins de la comunitat (famílies, escola i entorn proper), evitant situacions d’aïllament digital» o incoherència entre allò que s’exigeix al menor i allò que observa en els seus referents.

3.- Beneficis principals

  • Fomenta l’autoregulació: El menor aprèn a gestionar el seu propi temps i comportament digital en conèixer per endavant què se n’espera.
  • Redueix el conflicte intrafamiliar: Com que no hi ha espai per a l’ambigüitat, s’eliminen les discussions «en calent» al moment d’apagar un dispositiu o limitar una aplicació.
  • Mitiga els riscos de victimització: Minimitza l’Exposició prematura a ciberassetjament, accés a continguts inadequats o grooming en comptar amb barreres de protecció prèvies.

 

Cal crear una plaça digital pública (DPD) per als menors.

 

I.- La creació d’infraestructura pública segura per a menors a l’entorn digital

A l’entorn físic la salvaguarda de l’interès superior del menor no es delega totalment al sector privat, sinó que habitualment es garanteix mitjançant la provisió directa d’infraestructures públiques —com ara parcs infantils, equipaments educatius i places ciutadanes— dissenyades sota estrictes estàndards de seguretat, neutralitat i accessibilitat universal.

Per contra, en el pla digital les administracions públiques han externalitzat l’arquitectura relacional a les plataformes en línia, els models de negoci i incentius financers de les quals divergeixen sistemàticament del benestar dels menors.

Per això cal que l’Estat assumeixi una posició proactiva mitjançant la creació d’una plaça digital pública per als menors (PDP), que no busqui substituir l’oferta comercial actual, sinó que pretengui habilitar una alternativa pública institucional, dissenyada des dels fonaments normatius de la Unió Europea i orientada exclusivament al desenvolupament social, educatiu i cultural segur dels menors.

Aquest espai ha de garantir que els menors puguin interactuar, experimentar i cometre errors de manera lliure sense patir danys psicològics, reputacionals ni comercials, de manera que en experimentar de primera mà una navegació neta i lliure de dinàmiques d’enganxament, el menor interioritza un «patró or» de benestar digital.

Aquesta vivència ha de dotar la infància de les competències cognitives i el pensament crític necessaris perquè quan posteriorment accedeixi a les xarxes socials i a les plataformes comercials externes, siguin capaços de detectar de manera autònoma els elements manipuladors, els patrons foscos (dark patterns) i els algorismes dissenyats per atacar la seva salut mental, com d’altra banda així imposa l´article 5.1 de la llei  1/1996.

I precisament en aquesta línia es pronuncien les recents recomanacions que el panell d’experts creat per la presidenta de la Comissió Europea, Úrsula von der Leyen, va presentar el dia 13-7-2026, com a resposta estratègica de la Comissió Europea davant la creixent crisi de salut mental juvenil i per desenvolupar un enfocament europeu fort i pràctic per mantenir els nens segurs en línia:

A la recomanació 3 (pàgina 131) es parla de finançar i promoure la creació i l’ús de xarxes socials i altres serveis digitals basats en els valors de la UE, on els menors puguin interactuar de manera segura entre si.

Es tracta de potenciar amb inversió pública, la creació i integració de xarxes socials i altres serveis digitals basats en els valors de la UE, segurs des del seu disseny i adequats a l’edat.

Aquests serveis han de garantir la disponibilitat d’informació fiable, on els nens i els adolescents (i també els adults) puguin tenir interaccions segures en línia sense exposar-se a funcions perjudicials.

 

II.- Eixos estratègics

1.1.- Control Parental Obligatori i Accés Condicionat

Per garantir un entorn digital veritablement segur i alineat amb el principi de benestar des del disseny, l’ingrés dels menors no pot dependre de la mera autoafirmació de l’edat, per la qual cosa cal establir un protocol estricte de corresponsabilitat familiar i validació tècnica:

1.1.1.- Mecanisme d’accés condicionat

  • Consentiment exprés i vinculant: Per a tots els usuaris menors d’edat, l’ecosistema requerirà de manera obligatòria i auditable el consentiment exprés de la mare, pare o tutor legal abans de crear qualsevol perfil o compte.
  • Procés d’alta mancomunat: L’obertura del compte requerirà un flux tècnic en dos passos: una sol·licitud inicial per part del menor (o de l’adult) i una validació segura posterior per part del progenitor que confirmi l’autorització real.

1.1.2.- Traçabilitat i identificació auditable.

  • Verificació de la relació filial: El sistema implementarà mecanismes tècnics que permetin verificar, de manera segura i respectuosa amb la privadesa, l’enllaç legal entre l’adult autoritzant i el menor, evitant la suplantació d’identitat.
  • Auditoria del consentiment: Les autoritzacions emeses pels progenitors quedaran registrades de forma xifrada i auditable pels organismes reguladors pertinents, servint com a evidència de compliment normatiu per part de la plataforma sense vulnerar la minimització de dades.

1.1.3.- Co-gestió del Perfil del Menor. 

  • Panell de control parental actiu: Un cop concedit l’accés, els progenitors mantindran un rol de supervisió compartit. Això inclou la capacitat de configurar els límits de temps diaris, restringir l’accés a funcionalitats específiques (com a missatges directes amb desconeguts) i activar el filtratge estricte de contingut algorítmic.
  • Revocació immediata: El consentiment atorgat tindrà caràcter reversible. En qualsevol moment, el pare, mare o tutor legal podrà suspendre o eliminar de manera immediata el perfil del menor des del dispositiu .

1.1.4.- L’ecosistema públic s’ha de basar en estàndards oberts i interoperabilitat obligatòria

  • Cal exigir que els sistemes operatius dominants (iOS i Android) integrin aquesta plaça digital pública com una opció de configuració nativa i accessible des del primer encès del dispositiu, impedint que les corporacions privades imposin barreres tècniques a l’alternativa pública.

2.- Privadesa per defecte i minimització de dades

En estricta observança del principi de minimització de dades consagrat a l’article 5.1.c) del RGPD, així com de les directrius específiques del Comitè Europeu de Protecció de Dades (CEPD) sobre la privadesa des del disseny i per defecte, la plaça digital pública operarà sota un model d’impacte comercial zero.

Això implica que l’arquitectura tècnica de l’ecosistema està configurada nadivament per impedir qualsevol explotació secundària de la informació de l’usuari, estructurant-se a través dels pilars operatius següents:

2.1.- Aïllament perimetral i ofuscació tècnica

  • Bloqueig de geolocalització: Els comptes mantindran desactivats per defecte i de manera irreversible els mòduls de posicionament global (GPS), triangulació de xarxes o qualsevol tecnologia de rastreig físic, impedint la traçabilitat dels moviments de l’usuari en temps real o històric.
  • Depuració automatitzada de metadades: El sistema integrarà un filtre de pujada (upload filter) que eliminarà de forma automàtica qualsevol metadada incrustat als fitxers multimèdia (dades EXIF, etiquetes de càmera, dates de captura o coordenades geogràfiques) abans que el contingut sigui processat o emmagatzemat.
  • Immunitat davant la indexació externa: S’implementaran directives estrictes d’exclusió per a motors de cerca (protocols robots.txt avançats, etiquetes no índex i arquitectures tancades) per garantir que els perfils, continguts i interaccions romanguin invisibles per a rastrejadors externs i eines de raspat de dades.

 2.2.- Restricció de trànsit no sol·licitat (Entorns Estancs)

  • Xarxes de contactes validades de forma recíproca: El flux de comunicació (missatgeria directa, comentaris, mencions o continguts compartits) estarà blindat davant de tercers aliens al cercle de confiança. L’intercanvi només serà tècnicament possible si hi ha una confirmació bidireccional, explícita i prèvia entre tots dos usuaris.
  • Mitigació de l’assetjament i correu brossa: S’inhabilita la possibilitat de rebre sol·licituds o interaccions de perfils públics, comercials o no verificats, neutralitzant vectors de risc com el cyberbullying, el contacte no desitjat per part d’adults (grooming) o l’exposició a continguts no sol·licitats.

2.3.- Inexistència de monetització i capitalisme de vigilància

  • Exclusió de l’elaboració de perfils (Profiling): El sistema prohibeix l’anàlisi automatitzada del comportament, les preferències, els temps de lectura o els patrons d’interacció dels usuaris. No es generarà cap mena d’identificador únic destinat a predir conductes.
  • Veto a la publicitat dirigida i comportamental: Com que no hi ha segmentació ni recopilació d’interessos, l’entorn queda completament net de publicitat programàtica, anuncis suggerits o continguts patrocinats que busquen capturar l’atenció de l’usuari mitjançant tècniques persuasives.
  • Prohibició de transferència a tercers: S’estableix una limitació legal respecte a la venda, cessió, compartició o agregació de dades amb terceres empreses, corredors de dades (data brokers) o socis comercials, garantint que les dades mai no surtin del control perimetral de la plataforma.

2.4.- Sobirania de la Dada i Infraestructura d’Allotjament Local.

  • La plaça digital pública s’executa exclusivament sobre servidors i infraestructura de núvol gestionada directament per l’Estat o en territori de la Unió Europea sota governança 100% pública, impedint qualsevol forma de dependència tecnològica (vendor lock-in) o submissió a jurisdiccions estrangeres en matèria d’intel·ligència.

3.- Desmantellament de l’arquitectura persuasiva i algorismes de connexió

A diferència dels models comercials de les plataformes online tradicionals —la rendibilitat de les quals depèn de maximitzar el temps de permanència mitjançant tècniques de disseny persuasiu que indueixen a hàbits compulsius—, aquesta infraestructura pública reemplaça d’arrel aquests mecanismes.

Per tal d’evitar les dinàmiques de cau de conill (rabbit holes) que amplifiquen continguts polaritzants o distorsionadors per retenir l’atenció del menor, l’entorn digital s’estructurarà sota els principis operatius següents:

3.1.- Ecoeficiència cognitiva i fricció operativa deliberada

  • Erradicació d’automatismes addictius: Supressió del desplaçament infinit (scroll infinit) i dels sistemes de reproducció automatitzada (autoplay), forçant pauses conscients a la navegació.
  • Mitigació de l’estrès digital i l’ansietat social: Eliminació dels comptadors públics d’interacció quantitativa (mètriques d’impacte, comptadors de “m’agrada” o visualitzacions) i dels indicadors d’activitat en temps real (avisos de “escrivint…” o confirmacions de lectura de missatges).
  • Governança del temps i desconnexió: Integració de tecnologies proactives de gestió del temps i activació automatitzada de notificacions de desconnexió obligatòria durant l’horari de descans lectiu i nocturn.

 3.2.- Control de contingut basat en senyals explícits

  • Primacia de les eleccions deliberades: El flux d´informació i la cronologia del contingut s´estructuraran exclusivament a partir de les eleccions proactives, temàtiques i preferències declarades formalment per l´usuari, vetant qualsevol recomanació opaca basada en perfils conductuals.
  • Neutralitat de l´entorn: Els sistemes d´assistència i desplegament d´informació evitaran activament els biaixos comercials, els estereotips de gènere o la promoció involuntària de conductes de risc.

3.3.- Cerca protegida i derivació assistida institucional 

  • Bloqueig tècnic de vectors de risc: Restricció perimetral i bloqueig d’etiquetes, termes de cerca o argot vinculat a conductes autolítiques, radicalització o trastorns de la conducta alimentària (TCA).
  • Passarel·les de redirecció immediata: Davant de qualsevol intent de cerca o interacció relacionada amb aquests vectors de vulnerabilitat, el sistema interromprà el flux estàndard per desplegar passarel·les automatitzades d’assistència, derivant el menor de forma directa cap als serveis públics de salut mental i les línies d’ajuda nacionals oficials.

3.4.- Protocol d’exclusió d’identitats sintètiques ( Deepfakes )

  • Protecció de la identitat i la imatge real: S’estableixen restriccions perimetrals, tècniques i legals contra la càrrega, la generació, el processament o la difusió de qualsevol tipus de contingut sintètic o manipulat mitjançant tècniques d’IA (deepfakes).
  • Prohibició de suplantació: Queda rotundament prohibit l’ús d’eines que busquin clonar, alterar o suplantar la imatge, la veu, els trets biomètrics o la identitat de qualsevol individu dins de la plataforma, protegint els menors davant de fenòmens d’extorsió, assetjament o desinformació dirigida.

4.- Moderació pública especialitzada i tutoria corresponsable

La plaça digital pública disposarà d’un model de mediació comunitària i institucional dissenyat per superar les deficiències estructurals de la moderació purament automatitzada o subcontractada de les plataformes en línia tradicionals.

Aquest ecosistema substitueix els enfocaments punitius i els biaixos algorítmics per una intervenció humana, qualificada i protectora, articulada a través dels eixos operatius següents:

4.1.- Equips multidisciplinaris de mediació i custòdia digital

  • Personal empleat públic qualificat: Gestió i supervisió continuada (24/7) a càrrec d’un cos especialitzat d’empleats públics amb formació avançada i homologada en drets de la infància, psicologia del desenvolupament, mediació comunitària i resolució pacífica de conflictes.
  • Intervenció humana preponderant: Davant els errors de context de la IA, les decisions crítiques de moderació, apel·lació i resolució de disputes recauran sempre en el criteri humà, garantint el procés degut i la protecció dels drets fonamentals del menor.

4.2.- Canals de denúncia intuïtius i accessibilitat cognitiva

  • Tramitació simplificada i confidencial: Desplegament de mecanismes d’alerta confidencials, directes i blindats davant de represàlies, dissenyats específicament per ser activats de forma senzilla pels mateixos menors.
  • Adaptació evolutiva de l´entorn: Les interfícies de denúncia, els formularis i les respostes del sistema s´adaptaran dinàmicament al llenguatge, la maduresa i les capacitats cognitives de les diferents franges d´edat, eliminant barreres burocràtiques o terminologia legal complexa.

4.3.- Eines d’acompanyament familiar i autonomia progressiva

  • Panells de Governança Compartida: El concepte de control parental tradicional (basat en la vigilància unidireccional o el bloqueig punitiu) se substitueix per entorns de supervisió corresponsable. Aquests panells permeten configurar de mutu acord els límits de l´espai digital.
  • Foment de la corresponsabilitat: L´arquitectura tècnica promourà la transparència familiar i l´exercici de l´autonomia progressiva del menor. D’aquesta manera, les restriccions disminueixen de manera pautada i auditable a mesura que el menor adquireix competències digitals, maduresa i responsabilitat a l’entorn digital.

4.4.- Accessibilitat cognitiva i sensorial avançada

  • Garantir que s’adaptin de forma nativa menors amb trastorns de l’espectre autista (TEA), discapacitats visuals o auditives, assegurant que l’alternativa de l’Estat no segregui els més vulnerables.

4.5.- Auditoria externa independent i rendició de comptes anual

  • Com que es tracta d’una infraestructura de l’Estat orientada a col·lectius vulnerables, la PDP se sotmetrà de manera obligatòria al nivell més alt de control de l’Esquema Nacional de Seguretat (ENS).
  • Anualment, una agència independent externa -en coordinació amb la Fiscalia de Menors i el Defensor del Poble- emetrà un informe d’auditoria vinculant sobre la integritat dels algorismes i l’aïllament perimetral de les dades, garantint la màxima transparència davant de les associacions de famílies.

5.- Compliment d’estàndards d’intel·ligència artificial per al menor

L’arquitectura tècnica i jurídica de la plaça digital pública s’estructura sota un marc d’obligacions legals rigoroses i de compliment proactiu.

Aquest disseny té com a objectiu prioritari blindar l’experiència digital del menor davant de l’ús de la intel·ligència artificial.

5.1.- Identificació Inequívoca d’Entitats No Humanes

  • Davant la integració d’assistents virtuals o eines basades en IA generativa, el sistema exigirà que qualsevol bot conversacional que interactuï amb un menor detectat compleixi estrictament el Reglament Europeu d’Intel·ligència Artificial (AI Act ).
  • L’agent automatitzat s’haurà d’identificar de manera inequívoca, immediata i transparent com a entitat no humana.

5.2.- Governança sota el principi human-in- the – loop

  • Es garanteix una estructura de control humà interconnectat (human-in-the-loop). Cap decisió automatitzada o suggeriment que impacti de forma crítica en el desenvolupament, la integritat o la seguretat del menor es podrà executar sense la revisió, supervisió i validació prèvia d’un equip de moderació pública especialitzada.
  • Aquest equip tècnic mantindrà la facultat exclusiva d’intervenir, auditar, rectificar o desactivar els sistemes d’IA en temps real davant de qualsevol desviació que comprometi el benestar dels usuaris.

III. Conclusió i viabilitat del projecte: un imperatiu polític inajornable

1.- Legitimitat democràtica i l’obligació prestacional ineludible de l’Estat

El desplegament d’una infraestructura digital pública no admet interpretacions tèbies: no és una mesura de restricció de mercats, ni un mecanisme de tutela o censura estatal.

Per contra, constitueix l’exercici legítim, degut i imperatiu de la funció prestacional de l’Estat en el context de la societat de la informació.

No ens trobem davant d’un acte de control coercitiu, sinó davant d’una política pública de capacitació activa i salvaguarda urgent dels drets fonamentals de la infància.

És hora de dotar els menors d’espais de socialització sobirans, segurs i desmercantilitzats.

La intervenció del sector públic davant de la desprotecció ciutadana compta amb un sòlid i incontestable arrelament històric.

Així com l’Estat intervé de manera sistemàtica quan un entorn físic esdevé hostil, insalubre o exclusivament privatitzat per garantir els drets constitucionals a la salut, l’educació i l’esbarjo segur, l’entorn digital exigeix avui exactament la mateixa determinació política.

A la conjuntura actual, és un fet empíric que el benestar digital, el desenvolupament cognitiu i la salut mental de tota una generació es troben en una situació de risc estructural crític.

Perllongar la inacció per la manca d’alternatives institucionals públiques i segures a la xarxa és un desistiment de funcions que les administracions públiques no es poden permetre.

2.- Sostenibilitat pressupostària: inversió preventiva vs. cost social

L’assignació de recursos econòmics per al finançament, el desenvolupament i el manteniment continu d’aquest entorn digital públic és plenament congruent amb els sostres de despesa i les partides pressupostàries existents.

Les administracions públiques ja destinen de forma ordinària recursos a la protecció de la infància, la cohesió social i la transformació digital sostenible; reorientar aquests fons no representa una despesa supèrflua.

Es tracta d’una inversió pública eficient, estratègica i de naturalesa estrictament preventiva i el seu objectiu és mitigar els intolerables costos socials, educatius i sanitaris derivats dels danys sistemàtics que una part de l’ecosistema digital actual provoca diàriament a la joventut.

Finançar un projecte com aquest avui és una de tantes vies per evitar el col·lapse dels nostres sistemes de protecció i salut mental demà.

L’estudi «la salut mental dels joves a l’era digital», sol·licitat per la Comissió de Salut Pública del Parlament Europeu i publicat recentment, ha advertit sobre l’increment constant dels problemes de salut mental entre la joventut de la Unió Europea (UE) i la necessitat urgent d’articular una resposta coordinada.

Assenyala que la mala salut mental dels joves no és només un problema social i humà, sinó que comporta un impacte macroeconòmic molt profund ja que es calcula que la mala salut mental juvenil li costa actualment uns 177.000 milions d’euros a l’any a la UE-27 i el cost acumulat de la inacció entre 2024 i 2033 s’estima en 1,2 afectant directament la sanitat, la protecció social, l’educació i la pèrdua de productivitat laboral:

3.- El deure de proveir un espai comú lliure d’explotació.

Garantir l´existència d´aquest espai comú i de titularitat pública és, en última instància, l´única via robusta per assegurar que els ciutadans menors d´edat puguin exercir de forma efectiva els seus drets fonamentals, entre ells a la informació, l´educació i la participació democràtica digital.

Les administracions públiques tenen l’obligació legal de proporcionar un ecosistema tecnològic de socialització que estigui absolutament blindat davant de l’explotació econòmica de les vulnerabilitats cognitives pròpies de l’edat.

Fa més d’un segle, el 1924, la humanitat va signar un compromís ètic ineludible a la Declaració de Ginebra: «La humanitat deu al nen el millor que li pot donar».

Avui, en plena era digital, aquest principi ens interpel·la directament des del butlletí oficial de la realitat: estem fallant a protegir aquest “interès superior” als entorns que els nostres joves habiten diàriament.

Les dades del recent informe europeu sobre el cost de la inacció en salut mental juvenil són demolidores. La mala salut mental dels nostres joves ja costa 177.000 milions d’euros anuals a la UE, i la projecció a deu anys puja a l’astronòmica xifra d’1,68 bilions d’euros.

Però més enllà de la insostenible factura macroeconòmica en sanitat i pèrdua de productivitat, el cost real és humà: 1 de cada 5 joves presenta un trastorn diagnosticable, arrossegat per factors de risc en línia com el disseny addictiu, l’assetjament i l’exposició a continguts nocius sense un filtre ètic.

Davant d’aquesta crisi, la resposta reguladora tradicional —basada a sancionar a posteriori o a delegar la responsabilitat de la seguretat en el consentiment del mateix menor o de les seves famílies— s’ha demostrat sens dubte insuficient.

La solució no passa únicament per prohibir o vigilar el mercat privat, sinó per competir-hi des de l’esfera pública, oferint una alternativa saludable.

Així com l’urbanisme del segle XIX va crear parcs públics per oxigenar les ciutats industrials, el segle XXI ens exigeix fundar una plaça digital pública:

  • Un espai lliure de l´economia de l´atenció: Les grans plataformes privades estan dissenyades sota la lògica del benefici, optimitzant els seus algorismes per retenir l’atenció del menor a costa del seu benestar emocional. Una plaça pública digital, finançada i gestionada amb estàndards públics, prioritzaria el desenvolupament socioemocional, l’aprenentatge i la socialització sana per sobre de l’engagement addictiu.
  • Privadesa i seguretat per disseny (Privacy by Design): En aquest espai institucional, el compliment de les recomanacions de la CNIL i del RGPD no seria un obstacle a sortejar, sinó la base fundacional del servei. Els menors no serien el producte; les seves dades no es vendrien ni es veurien exposades a la manipulació comercial de tercers.
  • Inclusió per al «buit intermedi»: Un entorn digital públic permetria integrar de manera nativa recursos comunitaris de suport, canals de mediació i eines d’intervenció precoç per a aquest 50% de joves amb necessitats de salut mental no cobertes, garantint un accés equitatiu especialment per als col·lectius més vulnerables.

La decisió política és clara: podem seguir assumint el bilionari cost de reparar la salut mental d’una generació danyada per entorns digitals hostils, o podem exercir la nostra responsabilitat com a adults i líders públics construint una infraestructura digital sobirana, segurament i veritablement protectora.

La creació d’una plaça digital pública no és una utopia tecnològica, és el compliment contemporani de la promesa de Ginebra. És a les nostres mans -ara o mai- liderar aquesta transició.

© Ramon Arnó Torrades, Lleida, 2026.