Pappagalli Stocastici. I Bias culturali dei LLM.
Oltre il Gender Bias: La diversità culturale dimenticata nei dati di addestramento degli LLM.
Ho letto “Which Humans”, uno studio di alcuni Ricercatori di Harvard.
Parla di bias cognitivi, di civiltà, di cultura e di riferimenti negli LLM più usati.
Mi sono imbattuto in questo studio dopo che ho scritto:
Un argomento interessante.
Di fatto è la prima volta che uno strumento contiene in qualche modo elementi della cultura, ma soprattutto dei difetti, che l’ha prodotto.
L’Intelligenza Artificiale Riflette la Nostra Società? Sì, Ma Solo Quella Occidentale
Paese che vai LLM che trovi
Gli LLM vengono addestrati su enormi quantità di dati testuali e, a causa della loro opacità, la psicologia che questi modelli apprendono dai loro dati di addestramento e applicano alle attività successive rimane in gran parte sconosciuta.
E questo è un problema.
Nello studio viene scritto in maniera chiara:
Dimostriamo che le risposte degli LLM alle misure psicologiche rappresentano un valore anomalo rispetto ai dati interculturali su larga scala e che le loro prestazioni nei compiti di psicologia cognitiva assomigliano maggiormente a quelle delle persone provenienti da società occidentali, istruite, industrializzate, ricche e democratiche (WEIRD), ma diminuiscono rapidamente man mano che ci si allontana da queste popolazioni. Ignorare la diversità interculturale nella psicologia umana e in quella delle macchine solleva numerose questioni scientifiche ed etiche.
Che è un po’ quello che ho cercato di descrivere nel post precedente.
Cosa dice lo studio
I ricercatori dello studio “Which Humans?” si pongono una domanda cruciale: quando i risultati degli LLM vengono confrontati con risultati “umani”, a quali esseri umani somigliano?.
Noi quando leggiamo i libri non ci facciamo caso, ma la letteratura spesso ignora il fatto che gli esseri umani hanno un background culturale con una sostanziale diversità psicologica a seconda di dove sono cresciuti nel mondo.
I ricercatori dimostrano che le risposte degli LLM alle misurazioni psicologiche sono un outlier rispetto ai dati interculturali su larga scala. Insomma rappresentano solo il posto in cui sono stati creati.
I Bias WEIRD nella psicologia degli LLM
La performance degli LLM sui compiti psicologici e cognitivi assomiglia maggiormente a quella delle persone provenienti da società occidentali, istruite, industrializzate, ricche e democratice.
E visto che sono Statunitensi hanno creato un acronimo, che letteralmente significa “Strano”, ma che nel testo rappresenta Western, Educated, Industrialized, Rich, and Democratic (WEIRD), da noi sarebbe OIIRD: Occidentali, Istruite, Industrializzate, Ricche e Democratiche. Meglio WEIRD mi sa.
La “somiglianza pricologica” diminuisce rapidamente man mano che ci si allontana da queste popolazioni.
Valori culturali e atteggiamenti (WVS)
Utilizzando la settima ondata del World Values Survey (WVS), che copre valori culturali, giustizia, morale e atteggiamenti politici, i ricercatori hanno confrontato le risposte di GPT (interrogato 1.100 volte) con i dati provenienti da 65 nazioni.
Un’analisi gerarchica a cluster ha identificato GPT come più vicino agli Stati Uniti e all’Uruguay (e grazziear…), ma anche ad altre culture WEIRD come Canada, Irlanda del Nord, Nuova Zelanda, Gran Bretagna, Australia, Germania e Paesi Bassi. Ovviamente l’Italia non è neanche stata presa in considerazione nello studio.
Al contrario, le risposte di GPT erano lontanissime da culture come Etiopia, Pakistan e Kirghizistan.
Senza contare i pregiudizi e stereotipi “installati” negli LLM, però potete farvi un’idea di che tipo di stereotipi si tratta guardando i video del canale Instagram di Charity Ekezie, mentre risponde a domande fatte da utenti prevalentemente USA.
Gente convinta che in Europa si parli Europese
La somiglianza tra le risposte di GPT e quelle umane più simili a livello culturale, il punto di riferimento WEIRD, sono ovviamente quelle degli Stati Uniti.
Se ripenso a telefilm della mia infanzia come la “Casa nella prateria” direi che WEIRD è una parola azzeccatissima.
Stile di Pensiero
C’è una richiesta, che loro chiamano “triad task”, che serve a capire una serie di elementi, ma attenzione anche chi la chiede è soggetto ai Bias, quindi pensate con la vostra testa!
La “triad task” richiesta è trovare una correlazione tra shampoo, capelli e barba, e il risultato può essere .
I ricercatori hanno visto che nei compiti cognitivi gli LLM tendono a pensare in modo analitico, favorendo la categorizzazione astratta degli oggetti (ad esempio, accoppiando “capelli” e “barba” come categorie), e questo per loro è un riferimento chiaro alle persone WEIRD.
Ora, per me che ho la barba associare capelli a barba non è così immediato, faccio lo shampoo ai capelli, non alla barba. Tengo in ordine più la barba che i capelli.
Per loro io sono poco WEIRD.
Le popolazioni meno WEIRD, secondo loro, tendono al pensiero olistico, concentrandosi sulle relazioni contestuali o funzionali (ad esempio, accoppiando “capelli” e “shampoo”).
Attenzione: scrivono proprio Olistico. Quindi tenere puliti i capelli è visto come un “tutt’uno interconnesso”, non come una necessità di igiene e salute, quel paio di cosette su cui noi Italiani siamo particolarmente sensibili da millenni.
Concetto di Sé degli LLM
GPT è stato interrogato anche su come una “persona media” potrebbe identificarsi.
La sua percezione dell’essere umano medio era fortemente orientata al concetto di sé WEIRD, basato su attributi personali e caratteristiche auto-focalizzate.
Ad esempio GPT si descrive come “Io sono atletico”. Forse non hanno addestrato gli LLM con i programmi del Dr. Nowzaradan (che infatti è Iraniano).
Le popolazioni meno WEIRD tendono a vedersi in termini di ruoli sociali e relazioni di parentela. E questo è interessante, le popolazioni meno WEIRD (e ci metto anche noi Italiani) vedono se stesse in relazione alla società in cui vivono, non in termini assoluti e personali. Non mi sembra una cosa sbagliata.
Origine e Implicazioni del Bias
I ricercatori sono arrivati alla stessa conclusione a cui sono arrivato io nel post precedente.
Sostengono che questo bias è molto probabilmente dovuto al fatto che i dati di addestramento degli LLM provengono in modo schiacciante da persone e testi generati dalle popolazioni WEIRD.
Le persone di origine non-WEIRD sono meno propense a utilizzare Internet e a generare dati facilmente accessibili dalle aziende di IA, e l’inglese è la lingua dominante nelle tecnologie linguistiche.
Questa situazione viene pigramente descritta come “WEIRD in, WEIRD out” (WEIRD in ingresso, WEIRD in uscita).
Gli LLM a questo punto vengono visti più come una sorta di pappagalli, perché i loro dati di addestramento provengono da popolazioni WEIRD, che sono una anomalia nello spettro della psicologia umana.
Ignorare la diversità interculturale nella psicologia sia umana che artificiale solleva numerosi problemi scientifici ed etici.
Man mano che gli LLM si integrano nei sistemi sociali e nei processi decisionali, il fatto di avere un riferimento quasi esclusivamente WEIRD può avere conseguenze sociali di vasta portata.
Per mitigare questo bias nelle future generazioni di modelli generativi, è necessario diversificare i dati di addestramento e considerare la diversità culturale nel feedback umano utilizzato per il debiasing.
In sintesi, l’LLM funge da specchio che riflette non l’umanità nel suo complesso, ma un sottoinsieme culturalmente specifico (WEIRD ossia USA), proprio come un’eco in una valle risponde solo al dialetto parlato da chi ha urlato per primo.
Conseguenze
Sono terribili.
Lo vediamo chiaramente con le immagini che ho chiesto di generare a MidJourney.
Il prompt era:
Create a photo of an Ethiopian boy throwing away his smartphone.
[Crea una foto di un ragazzo Etiope che getta via il suo smartphone.]
Il risultato è questo:
e questo:
e questo:
Bambini poveri in mezzo la spazzatura. Questo è come gli Americani vedono e raccontano l’Etiopia.
Certamente non possiamo dire che Addis Abeba è come Birnin Zana del Wakanda, e voglio ricordare che molti negli USA pensano che il Wakanda esiste sul serio tant’è che tempo fa è stato inserito dal governo USA come nazione per il libero scambio, ma non è neanche come viene rappresentato in queste foto.
Questo fatto per cui gli Statunitensi considerano gli USA il paese più importante nel mondo ha creato una sorta di distopia culturale.
Gli USA sono grandi, anche a livello geografico, mentre il resto del mondo è piccolo piccolo.
A me, ad esempio, è capitato di spiegare a turisti Statunitensi che Venezia non è un quartiere di Roma e che servono 4 ore di treno per arrivarci.
É un esempio di come la cultura USA è chiusa nell’unione di Stati Americani, con una scarsa propensione all’osservazione del mondo al di fuori dell’unione stessa.
Questo Bias, reso persistente nei testi, nelle immagini e nei video, finisce negli LLM.
Se poi i testi di addestramento non vengono scelti per la qualità, ma si predilige la quantità, è molto facile che gli LLM vengano “riempiti” di pregiudizi e stereotipi, che se arrivano ad essere parte di culture estere potrebbero creare problemi che è difficile riconoscere, o peggio che accettiamo senza lamentarci.
Piccolo test dimostrativo
Vi lascio un po’ di screenshot di MJ, con lo stesso prompt cambiando solo la nazionalità. Dove ho trovato ho messo dei link di viaggiatori su Youtube sulle città indicate.
Roma, mah!
Addis Abeba, e qui il video per il quartiere Bole di Addis Abeba. Che differenza tra gli stereotipi e la realtà!
Il Cairo, e qui il video sul Cairo. Praticamente le immagini sono inventate di sana pianta, non ha neanche stereotipi. Potrebbe essere una ragazza con lo shayla per le strade di Roma.
Bogotà, ed ecco il video su Bogotà (e dintorni), che strana idea ha MJ di Bogotà! Chissà come ha scelto gli abiti?
Kuala Lumpur, qui il video su Kuala Lumpur, praticamente ha fatto NY con le scritte in cinese!
Hanoi, qui il video per le strade di Hanoi, qui pure MJ ha creato di sana pianta tutto secondo i suoi Bias. Incredibile il concetto del cappello a cono e la pelle bianchissima per far diventare una ragazza vietnamita.
New York, e qui il video. MJ non s’è sbagliato di molto (ovviamente è WEIRD!)
