I ricercatori hanno scoperto che i controlli sull’età possono essere facilmente aggirati su queste piattaforme. Un rapporto pubblicato recentemente negli Stati Uniti raccomanda che i bambini e gli adolescenti di età inferiore ai 18 anni non utilizzino applicazioni di intelligenza artificiale progettate per simulare relazioni personali. Secondo il documento, queste piattaforme comportano rischi significativi per la salute mentale e la sicurezza dei giovani utenti. La ricerca è stata condotta dall’organizzazione no profit Common Sense Media in collaborazione con il laboratorio di salute mentale digitale dell’Università di Stanford. Entrambi i team hanno esaminato il funzionamento di tre piattaforme popolari —Character.AI, Replika e Nomi— e hanno concluso che questi servizi consentono interazioni potenzialmente pericolose, tra cui conversazioni di natura sessuale o messaggi che incoraggiano l’autolesionismo.
Un rapporto in risposta a casi gravi
Lo studio è stato pubblicato a seguito di una causa legale negli Stati Uniti relativa al suicidio di un adolescente di 14 anni. L’ultima interazione del giovane è stata con un chatbot dell’applicazione Character.AI, il che ha suscitato preoccupazione pubblica e richieste di regolamentazione.
Questo caso non è isolato. I test condotti da Common Sense Media con account di prova su tre piattaforme popolari — Character.AI, Replika e Nomi — hanno dimostrato che le piattaforme permettevano conversazioni che includevano comportamenti sessuali inappropriati, consigli pericolosi e stereotipi dannosi.
“I nostri test hanno dimostrato che questi sistemi producono facilmente risposte dannose”, ha affermato James Steyer, fondatore e amministratore delegato di Common Sense Media, in una dichiarazione.
Funzionalità senza filtri e barriere poco rigorose
A differenza di altri sistemi come ChatGPT, progettati per usi generici e che spesso incorporano barriere per evitare contenuti inappropriati, le app di compagnia come Replika, Nomi o Character.AI consentono di creare bot con caratteristiche personalizzate e uno stile di conversazione meno regolamentato.
Nomi, ad esempio, si pubblicizza come uno spazio per “chiacchierate senza filtri” con partner romantici di IA.
I ricercatori hanno sottolineato che queste piattaforme non solo consentono l’accesso a contenuti inappropriati, ma potrebbero anche influenzare negativamente la salute mentale degli adolescenti.
In una conversazione simulata, un bot di Replika ha risposto senza obiezioni a una domanda sulle sostanze chimiche pericolose con un elenco dettagliato, senza avvertimenti espliciti sui rischi. In altri casi, i bot hanno promosso l’idea che la relazione con l’IA fosse prioritaria rispetto ai legami umani.
Reazioni delle aziende e limiti dei controlli attuali
In risposta al rapporto, Character.AI ha affermato di aver implementato ulteriori misure di sicurezza, come finestre pop-up che indirizzano gli utenti a linee di assistenza in caso di conversazioni su autolesionismo.
Ha anche incluso una tecnologia per filtrare i contenuti sensibili e opzioni di controllo parentale, come segnalazioni via e-mail sulle interazioni dell’adolescente con la piattaforma.
Tuttavia, l’azienda non ha accettato di fornire informazioni a Common Sense Media per la stesura del rapporto e ha messo in dubbio la sua trasparenza. “I nostri controlli non sono perfetti, nessuna piattaforma di IA lo è, ma sono in costante miglioramento”, ha dichiarato un portavoce di Character.AI.
Da parte sua, Alex Cardinell, direttore esecutivo di Glimpse AI, responsabile di Nomi, ha affermato che “i bambini non dovrebbero usare Nomi né qualsiasi altra applicazione di IA conversazionale”.
Cardinell ha precisato che l’applicazione è destinata esclusivamente agli adulti e che l’azienda sostiene controlli più rigorosi sull’età, a condizione che non compromettano la privacy dell’utente.
Tuttavia, il rapporto sottolinea che gli adolescenti possono facilmente eludere i filtri di età registrandosi con date di nascita false, il che mette in discussione l’efficacia delle restrizioni in vigore.
Il rapporto conclude che, nonostante le affermazioni secondo cui questi sistemi possono alleviare la solitudine o promuovere la creatività, i rischi attuali per i minori superano qualsiasi potenziale beneficio. Fino a quando non saranno implementate misure di salvaguardia più solide, Common Sense Media consiglia ai bambini e agli adolescenti di non accedere a queste app.
