13 Maggio 2021

Intelligenza artificiale e contrasto ai discorsi d’odio: qualche riflessione sulle sfide e le criticità presentate da questi strumenti nell’ambito della moderazione dei contenuti online

La proliferazione dei discorsi d’odio sui social media costituisce un problema sociale, e in quanto tale presenta un numero significativo di sfide quando si ragiona in termini di azioni di contrasto. Chi ha una vita social probabilmente è a conoscenza degli strumenti messi a disposizione dalle piattaforme per segnalare commenti, frasi e/o parole ritenute offensive e quindi riconducibili ai linguaggi violenti dell’hate speech. Ma forse non tutti sono a conoscenza di come avvenga la categorizzazione delle segnalazioni provenienti dagli utenti. 

Il monitoraggio dei discorsi d’odio viene effettuato da “moderatori”, risorse umane delle aziende private (Facebook, Twitter ecc.) che hanno il compito di verificare se i contenuti pubblicati sul social sono in linea con i parametri di legalità. In Europa, questo sistema è stato disciplinato dal Codice di Condotta del 2016, firmato da Facebook, Twitter, Youtube, Microsoft che ha imposto alle aziende firmatarie di prendere in esame la maggior parte delle segnalazioni effettuate sulla propria piattaforma entro 24 ore e di applicare eventuali provvedimenti se necessario. 

Ma questo sistema di controllo presenta diverse criticità. In primis, il numero di contenuti online è in costante aumento e sarebbe quindi richiesto un numero sempre maggiore di “moderatori” con la conseguente crescita dei costi per le aziende. Inoltre, l’azione dei moderatori, seppur regolamentata da parametri prestabiliti, presenta un certo grado di discrezionalità del singolo individuo, e, non di meno importanza è l’onore psicologico che comporta tale lavoro. 

Ed è proprio sulla base di questi limiti che entra in gioco l’intelligenza artificiale. Al momento i sistemi maggiormente studiati sono il machine-learning e il deep-learning, sottocategorie dell’Intelligenza Artificiale. Rispettivamente, il machine-learning utilizza un algoritmo solo dopo aver ricevuto il feedback umano, quindi il sistema viene prima alimentato con dati strutturati e categorizzati, questo imparerà a classificare i nuovi dati sulla base di ciò che ha appreso ed eseguirà le attività programmate. Infine, l’azione verrà ottimizzata dall’essere umano che indicherà se le classificazioni e le categorizzazioni applicate dal computer sono adeguate o errate. Il deep-learning è una sottoforma di machine-learning. Con questo metodo il computer elabora una grande quantità di dati utilizzando reti neurali ispirate al funzionamento biologico del cervello umano. Ottenendo sempre nuove informazioni, i collegamenti esistenti possono essere modificati e ampliati in modo che il sistema impari senza l’intervento umano. 

Già diverse aziende hanno sperimentato questi sistemi per moderare i contenuti sulle proprie piattaforme. Risultano quindi urgenti alcune riflessioni e considerazioni. L’utilizzo esclusivo dell’AI nella moderazione dei contenuti presenti online implicherebbe il lasciare ad un algoritmo la valutazione finale rispetto a cosa possa rientrare nella libertà di espressione e cosa invece possa essere definito hate speech. 

Le sedi dei principali social (Facebook, Google ecc.) sono negli Stati Uniti e pertanto rispondo alle leggi di quel Paese. Non essendo riconosciuta e condivisa a livello internazionale una definizione comune di cosa possa essere ritenuto “hate speech”, queste aziende private potrebbero calibrare i propri strumenti di AI secondo quella che è la definizione statunitense di hate speech nonostante gli utenti presenti sulle loro piattaforme appartengano a contesti sociali e politici molto differenti. E se così non fosse, rispetto a quale definizione di hate speech si rifaranno questi modelli? 

Se immaginassimo dei contesti in cui la libertà di espressione è già fortemente compromessa da azioni e disposizioni statali (pensiamo a regimi più autoritari), potrebbe l’AI rappresentare un’ulteriore strumento di sorveglianza e di censura? In questo caso esisterebbe una minaccia ai diritti umani e alla libertà espressione.

Un’altra riflessione riguarda la capacità di monitoraggio e comprensione dei contenuti presenti online da parte dell’AI. La valutazione di un discorso è fortemente correlata al contesto e questo richiede una comprensione delle sfumature linguistiche, culturali e politiche. Un esempio lampante è l’utilizzo della satira o del linguaggio codificato. L’intelligenza artificiale ha dimostrato di non essere capace di rilevare queste sfumature, e quindi da una parte presenta un limite nell’identificazione dei discorsi d’odio e dall’altra censura discorsi che di odio non ne contengono affatto. 

Infine, è importante ricordare che i modelli di business alla base delle piattaforme online come Facebook, Google ecc. si basano sull’attenzione e il coinvolgimento degli utenti, i quali vengono considerati e trattati come risorse economiche. Il loro interesse è mantenere alta la presenza degli utenti online, e spesso questo avviene amplificando contenuti clamorosi e dannosi. Quindi, i sistemi di AI da loro sviluppati non possono essere ritenuti neutrali, ma legati alla logica del profitto che caratterizza queste aziende. Può quindi un sistema privato basato sulla logica del profitto agire in modo trasparente nel contesto della moderazione dei contenuti presenti sulla propria piattaforma? 

Queste sono solo alcune delle domande che dovremmo porci in vista di una importante rivoluzione, che non sarà solamente tecnologica ma che andrà a influenzare aspetti della vita sociale, politica ed economica di tutti noi.

A cura di Giulia Scuz

Ti potrebbe interessare

5 Gennaio 2022

“solo il 6% dei contenuti di odio in lingua araba – la terza più usata su Facebook – è stato rilevato su Instagram. In tutto il

10 Dicembre 2021

L’odio non è di classe E dopo tantissima attesa, finalmente, a ottobre, sono riuscito ad attivare un workshop sull’hate speech in 5 classi di

1 Dicembre 2021

IL DIRITTO DI FARE SCHIFO Michela Giraud è autrice, attrice, comica. Nel suo percorso professionale si è occupata di teatro, cinema, televisione e radio.