Pregiudizi tecnologici: come si manifestano, tipologie ed esempi chiave

Informatec Digital » Risorse » Pregiudizi tecnologici: come si manifestano, tipologie ed esempi chiave

Viviamo circondati da algoritmi: ci consigliano serie TV, concedono prestiti, filtrano i curriculum e danno priorità alle notizie sui social media . Spesso diamo per scontato che, poiché provengono da un computer, queste decisioni siano più oggettive ed eque di quelle prese da una persona. Ma la realtà è ben più scomoda: nemmeno la tecnologia è neutrale.

Quando un computer o un sistema di intelligenza artificiale incorpora dei pregiudizi, questi errori non rimangono confinati al mondo digitale: si traducono in opportunità mancate, diagnosi meno accurate, sorveglianza iniqua o decisioni economiche ingiuste . Comprendere da dove provengono questi pregiudizi tecnologici, come vengono classificati e quali danni provocano è fondamentale per sviluppare e utilizzare un'IA veramente responsabile.

Che cosa sono i pregiudizi tecnologici e perché non vengono considerati semplicemente "problemi tecnici"?

In ambito digitale, si parla di pregiudizio quando un sistema informatico elabora le informazioni in modo disomogeneo , sistematico e prevedibile , favorendo alcuni gruppi rispetto ad altri senza una giustificazione legittima. Non si tratta solo di errori isolati, ma di schemi ricorrenti nei risultati.

Questi pregiudizi tecnologici possono manifestarsi a diversi livelli: nei dati utilizzati per addestrare un modello, nella progettazione dell'algoritmo, nel modo in cui vengono etichettati gli esempi, nelle metriche scelte per l'ottimizzazione o persino nel modo in cui gli esseri umani interpretano i risultati del sistema. In definitiva, i pregiudizi tecnologici riflettono e amplificano i pregiudizi umani, le disuguaglianze storiche e le scelte progettuali.

Un errore molto comune è presumere che i computer "non commettano errori" perché seguono regole matematiche. Dietro ogni soluzione di intelligenza artificiale ci sono team che decidono quali dati utilizzare, quali variabili sono importanti, come misurare il successo e quali errori sono considerati accettabili. Se questi team condividono punti ciechi o lavorano con informazioni incomplete, i sistemi risultanti possono essere profondamente iniqui, anche se funzionano "tecnicamente" bene.

Distorsione nei dati di addestramento: quando il problema ha origine nel database

I sistemi di intelligenza artificiale e apprendimento automatico imparano dagli esempi. Se il set di dati su cui vengono addestrati è sbilanciato, etichettato in modo errato o presenta distorsioni storiche, il modello apprenderà questi schemi distorti come se fossero la "normalità" del mondo . È qui che risiede gran parte del problema.

Una classica fonte di questo pregiudizio è l'errore di rappresentazione: alcuni gruppi sono sovrarappresentati nei dati, mentre altri sono a malapena presenti. Un algoritmo di riconoscimento facciale addestrato principalmente su foto di persone bianche tenderà a funzionare molto bene con quel gruppo e a commettere molti più errori con individui neri, asiatici o appartenenti ad altre minoranze. Lo stesso vale se i dati della polizia provengono principalmente da quartieri a forte presenza razziale: l'intelligenza artificiale presumerà tassi di criminalità più elevati in quelle zone, quando in realtà esiste semplicemente una maggiore presenza storica delle forze dell'ordine.

Anche il modo in cui i dati vengono etichettati ha un impatto cruciale. Quando gli esseri umani assegnano categorie, descrizioni o punteggi, possono introdurre i propri pregiudizi. Gli strumenti di reclutamento che segnalano determinati profili come più "qualificati" potrebbero essere stati addestrati con etichette che, senza una ragione oggettiva, hanno escluso donne, persone anziane o candidati provenienti da determinate università o paesi.

In statistica, si parla di distorsione quando il campione non rappresenta fedelmente la popolazione che si intende modellare. Il risultato è un modello che sembra funzionare bene sui dati di addestramento, ma che nel mondo reale favorisce sistematicamente determinati profili e penalizza altri che erano sottorappresentati o descritti in modo inadeguato nel database originale.

Pregiudizi algoritmici: decisioni di progettazione che amplificano la disuguaglianza

Anche con dati di buona qualità, la progettazione dell'algoritmo può introdurre distorsioni. Si parla di distorsione algoritmica quando, a causa del modo in cui il modello è costruito o delle regole che applica, si generano ripetutamente risultati iniqui, errori distorti o impatti sproporzionati su determinati gruppi .

Un chiaro esempio emerge nei modelli che utilizzano variabili apparentemente neutre, come il codice postale, il livello di reddito o determinati modelli di consumo. Sebbene l'algoritmo non "veda" direttamente l'etnia o il genere, queste variabili possono fungere da indicatori indiretti di categorie sensibili , riproducendo pregiudizi razziali, di classe o di genere che non sono stati esplicitamente codificati.

I pregiudizi degli sviluppatori possono insinuarsi anche nella programmazione. Se il progettista del sistema decide, consapevolmente o inconsapevolmente, che certi fattori debbano avere un peso maggiore rispetto ad altri, potrebbe star trasferendo la propria visione distorta di ciò che costituisce "merito", "rischio" o "normalità ". Il risultato: algoritmi di credito che penalizzano automaticamente le persone a basso reddito, o sistemi di raccomandazione che silenziano sistematicamente determinati contenuti o gruppi.

Il National Institute of Standards and Technology (NIST) sottolinea che correggere semplicemente ciò che è visibile in superficie (i risultati del modello già addestrato) significa solo grattare la superficie . Per affrontare rigorosamente i bias algoritmici, è necessario rivedere l'intero ciclo di progettazione, dalla definizione del problema alle metriche utilizzate per valutare l'accettabilità del sistema.

Pregiudizi umani e cognitivi: il nostro modo di pensare influenza la tecnologia.

I pregiudizi non hanno origine nella macchina, ma nella nostra mente. Noi esseri umani utilizziamo scorciatoie mentali, euristiche e preconcetti per prendere decisioni rapide in un mondo complesso. Queste scorciatoie producono pregiudizi cognitivi che, quando partecipiamo alla progettazione, all'addestramento o alla supervisione di sistemi di intelligenza artificiale, finiscono per essere trasferiti al codice e ai dati.

Uno dei più noti è il bias di conferma. Tendiamo a cercare, interpretare e ricordare le informazioni che confermano le nostre convinzioni, ignorando o minimizzando tutto ciò che le contraddice. Se un team di sviluppo ritiene che un determinato schema sia "normale", potrebbe scegliere dati e metriche che rafforzano la sua ipotesi , scartando i casi che la mettono in discussione. Questo influisce sia sulla selezione delle variabili che sulla validazione del modello.

Un altro esempio classico è il bias di ancoraggio: attribuiamo un peso eccessivo alla prima informazione che riceviamo. In ambito digitale, un prezzo iniziale molto elevato può far sì che qualsiasi successivo calo di prezzo sembri un'"offerta irresistibile", anche se non lo è. Qualcosa di simile accade quando un sistema di intelligenza artificiale visualizza una raccomandazione o una previsione iniziale: tale output iniziale funge da ancoraggio per le decisioni successive prese da utenti, analisti o manager aziendali.

Entra in gioco anche l'effetto alone: ​​tendiamo a valutare una persona, un prodotto o un'idea in base a una singola caratteristica eclatante. Nei processi di selezione automatizzati, una laurea conseguita presso un'università prestigiosa può indurre un algoritmo, addestrato su dati storici, a sovrastimare sistematicamente il valore dei laureati di tali atenei e a sottovalutare candidati altrettanto o addirittura più qualificati provenienti da università meno rinomate.

La tendenza a privilegiare la negatività significa che prestiamo maggiore attenzione e diamo più peso alle informazioni negative. Nei modelli di rilevamento delle frodi o di valutazione del rischio, questo può tradursi in algoritmi che danno così tanta priorità all'evitare determinati errori da generare molti falsi positivi , penalizzando persone innocenti semplicemente perché statisticamente simili a casi problematici del passato.

Tutti questi bias cognitivi vengono introdotti nel sistema in più punti: quando si decide quale problema risolvere, quando si progetta l'architettura, quando si etichettano manualmente i dati, quando si scelgono le funzioni di perdita (che possono penalizzare alcuni errori più di altri) o quando si interpretano i risultati. Per questo motivo il NIST insiste sul fatto che i fattori umani, sociali e istituzionali siano una fonte di bias altrettanto importante quanto i dati o gli algoritmi, e che spesso vengano trascurati.

Pregiudizi sistemici e sociali: quando l'IA eredita la storia

Al di là degli errori statistici o cognitivi, esistono pregiudizi radicati nella struttura stessa della società: razzismo, sessismo, disuguaglianza di classe e discriminazione nei confronti di determinate età o identità. Questi pregiudizi sistemici non derivano sempre dai pregiudizi consapevoli di singoli individui, ma piuttosto da norme, pratiche e istituzioni che sono in vigore da decenni o secoli.

Quando raccogliamo dati storici per addestrare i sistemi di intelligenza artificiale, in realtà incapsuliamo quella storia di disuguaglianze in numeri e registrazioni digitali. Gli algoritmi che apprendono da questi dati finiscono per riprodurre ciò che "è sempre stato così": meno donne in posizioni di leadership, più arresti in certi quartieri, minore accesso al credito per determinate comunità. Invece di correggere l'ingiustizia, l'IA la rafforza con una patina di oggettività.

Alcuni modelli distinguono tra distorsione sociale e distorsione statistica. La distorsione sociale si riferisce a pregiudizi, stereotipi e inclinazioni radicati in una cultura. La distorsione statistica si verifica quando esiste una discrepanza sistematica tra ciò che i dati stimano e la realtà che dovrebbero rappresentare . Le due distorsioni sono interconnesse: i dati distorti sono spesso il riflesso numerico di una preesistente disuguaglianza sociale.

Anche le norme, i processi e le prassi istituzionali che caratterizzano l'intero ciclo di vita dell'IA contribuiscono a questo fenomeno. Questi spaziano dai progetti finanziati e dai settori che ricevono maggiore attenzione, fino alle modalità di implementazione dei sistemi nelle imprese e nelle pubbliche amministrazioni. Di conseguenza, i pregiudizi sistemici si insinuano nei dataset , nei modelli e nel loro utilizzo pratico.

La tipologia NIST: distorsioni computazionali, umane e sistemiche

La pubblicazione speciale NIST 1270, "Verso uno standard per l'identificazione e la gestione dei pregiudizi nell'intelligenza artificiale", è diventata un riferimento fondamentale per la comprensione di questo argomento. Questo documento individua tre categorie principali di pregiudizi nell'IA: pregiudizi computazionali o statistici, pregiudizi umani e pregiudizi sistemici.

I bias computazionali sono quelli che possono essere misurati direttamente nelle prestazioni di un modello di intelligenza artificiale addestrato: differenze nei tassi di errore, nei punteggi o nei risultati a seconda del gruppo di popolazione. Includono, ad esempio, il bias di selezione dei dati (quando il set di addestramento non rappresenta accuratamente la realtà) o il bias algoritmico in senso stretto (quando il metodo di calcolo favorisce determinati risultati).

I bias cognitivi umani comprendono tutti i pregiudizi e gli errori sistematici nel pensiero delle persone coinvolte nel ciclo di vita dell'IA. Ciò include i bias cognitivi già discussi (bias di conferma, bias di ancoraggio, effetto alone, bias di negatività, ecc.), che influenzano la raccolta dei dati, l'etichettatura, la definizione degli obiettivi, la selezione delle metriche e l'interpretazione dei report generati da un sistema.

Infine, i pregiudizi sistemici si riferiscono alle disuguaglianze strutturali radicate nella società e nelle sue istituzioni. Questi pregiudizi si riflettono nei dati storici, nelle normative vigenti, nelle pratiche organizzative e negli incentivi economici. Un chiaro esempio è che se, per decenni, le persone appartenenti a una particolare minoranza sono state arrestate più frequentemente a causa di pratiche di polizia discriminatorie, i dati risultanti faranno sì che un sistema di previsione della criminalità prenda di mira ripetutamente quelle stesse comunità.

Il NIST evidenzia inoltre tre sfide principali per mitigare questi pregiudizi: migliorare la qualità e la diversità dei set di dati, sviluppare solidi quadri di test e valutazione che includano criteri di equità e affrontare direttamente i fattori umani e organizzativi integrando l'etica e la supervisione in tutto il processo.

Distorsione da automazione: fare troppo affidamento sulla macchina

Oltre ai pregiudizi già menzionati, la normativa europea si è concentrata su un fenomeno sempre più diffuso: il pregiudizio da automazione. Il Regolamento UE sull'IA, all'articolo 14.4(b), evidenzia il rischio che le persone possano riporre automaticamente o eccessivamente fiducia nei risultati generati da un sistema di IA, anche se tali risultati sono errati o distorti.

Questo bias di automazione è strettamente correlato al bias di conferma e al bias di ancoraggio. Se ci fidiamo ciecamente dell'output di un sistema, è più probabile che cerchiamo informazioni che rafforzino ciò che la macchina ha affermato e che utilizziamo tale risposta come punto di riferimento iniziale per tutto il resto. I suggerimenti dell'IA diventano una "verità predefinita" che condiziona il giudizio umano.

Ecco perché le normative europee insistono sulla necessità di una supervisione umana nei sistemi ad alto rischio (ad esempio, quelli che incidono sui diritti fondamentali). Non si tratta semplicemente di far premere un pulsante a un essere umano alla fine, ma di garantire che l'essere umano possa fornire il contesto, mettere in discussione la decisione automatizzata e annullarla qualora rilevi che non è in linea con le circostanze specifiche.

Esempi concreti di pregiudizi tecnologici e delle loro conseguenze

Quando i pregiudizi tecnologici si manifestano nei sistemi del mondo reale, il danno è concreto. Organizzazioni di ogni tipo hanno subito danni alla reputazione e conseguenze legali per non aver previsto queste situazioni, mentre le persone coinvolte potrebbero persino non essere consapevoli che un algoritmo ha preso una decisione ingiusta.

Nel settore sanitario, la sottorappresentazione di donne e minoranze nei dati clinici ha portato alcuni algoritmi diagnostici a fornire risultati meno accurati per determinati gruppi . È stato osservato che i sistemi di supporto alla diagnosi assistita da computer hanno prestazioni inferiori con i pazienti afroamericani rispetto ai pazienti bianchi, perpetuando le disuguaglianze esistenti nell'assistenza sanitaria.

In ambito lavorativo, una grande azienda tecnologica ha dovuto abbandonare un sistema di reclutamento basato sull'intelligenza artificiale dopo aver scoperto che penalizzava sistematicamente le donne. L'algoritmo, avendo appreso da una storia di assunzioni prevalentemente maschili, tendeva a privilegiare i curriculum simili a quelli degli uomini già in organico e a escludere a priori qualsiasi indicazione di genere femminile.

Un altro esempio è rappresentato dai sistemi di classificazione del rischio nel sistema di giustizia penale, come COMPAS negli Stati Uniti, accusati di assegnare tassi di rischio di recidiva più elevati alle persone di colore rispetto ai bianchi in situazioni analoghe. Sebbene i fornitori abbiano difeso la loro tecnologia, diverse analisi indipendenti hanno evidenziato modelli di disparità razziale.

Nel mondo della visione artificiale, è noto che gli strumenti di etichettatura automatica delle immagini classificano le foto di persone di colore con termini fortemente offensivi, evidenziando sia una mancanza di diversità nei dati sia l'assenza di controlli di qualità e sensibilità culturale. Studi che utilizzano generatori di immagini come Stable Diffusion o strumenti simili hanno dimostrato che, quando venivano richieste fotografie di specifiche professioni, gli uomini bianchi apparivano prevalentemente come dirigenti , mentre le donne e le persone di colore venivano associate a lavori meno qualificati o addirittura a ruoli criminali.

Nel settore del credito e della finanza, i modelli che utilizzano la storia bancaria, il codice postale o determinati modelli di spesa come variabili chiave possono portare a discriminazioni indirette. Persone perfettamente solvibili potrebbero vedersi rifiutare la richiesta di prestito perché il sistema, basandosi su dati storici, considera "a maggior rischio " coloro che vivono in determinati quartieri o hanno un certo profilo socioeconomico, anche se un'analisi individuale racconta una storia diversa.

Nell'ambito della sorveglianza e della sicurezza, gli strumenti di polizia predittiva che utilizzano dati storici sugli arresti sono stati criticati per aver rafforzato l'eccessiva presenza delle forze dell'ordine in specifiche comunità. Se un'area è stata pattugliata più intensamente per anni a causa di motivi razziali o di classe, i dati mostreranno un maggior numero di incidenti in quell'area e l'algoritmo raccomanderà...
tornare ancora e ancora, producendo un ciclo di feedback che legittima pratiche discriminatorie.

In quale fase del ciclo tecnologico hanno origine i pregiudizi informatici?

Osservando l'intero ciclo di sviluppo tecnologico, i pregiudizi possono manifestarsi praticamente in ogni fase. Nella raccolta dei dati, l'utilizzo di fonti storiche sbilanciate o l'esclusione sistematica di determinate popolazioni getta già le basi del problema. Nella progettazione degli algoritmi, la scelta delle variabili, delle architetture e degli obiettivi di ottimizzazione determina quali tipi di errori saranno più tollerati.

Durante la fase di addestramento, il famoso principio GIGO (Garbage In, Garbage Out, ovvero "spazzatura in entrata, spazzatura in uscita") diventa davvero rilevante: se si alimenta un modello con dati spazzatura, non importa quanto sofisticato sia l'algoritmo, il risultato sarà comunque spazzatura... seppur mascherato da gergo tecnico e metriche accattivanti. La distorsione dei dati può far sì che il modello memorizzi schemi dalla maggioranza e fallisca clamorosamente con la minoranza.

Durante la fase di validazione, se vengono misurate solo le metriche di accuratezza globali senza analizzarle per sottogruppi (genere, età, etnia, regione, ecc.), un modello altamente iniquo può superare i controlli perché, "in media", sembra funzionare perfettamente. Questo problema è aggravato se il team di sviluppo è troppo omogeneo e non si pone determinate domande perché non rientrano nella sua esperienza diretta.

Durante la fase di implementazione, emergono anche effetti di feedback: un sistema distorto può influenzare il comportamento degli utenti e generare nuovi dati che rafforzano gli stessi schemi. Ad esempio, se un motore di raccomandazione mostra solo determinati tipi di contenuti a specifici profili utente, col tempo sembrerà che quegli utenti consumino solo quel tipo di contenuto perché non hanno avuto accesso agli altri.

Infine, nell'interpretazione dei risultati, il bias di automazione e la mancanza di interpretabilità possono indurre manager, medici, giudici o selezionatori del personale ad accettare senza riserve ciò che la macchina afferma, anche quando ciò contraddice le prove qualitative a loro disposizione.

Come ridurre i pregiudizi nella tecnologia e nell'intelligenza artificiale

Non esiste una soluzione miracolosa per eliminare completamente i pregiudizi, ma esiste una serie di pratiche che possono ridurli significativamente. La prima consiste nel diversificare i dati: assicurarsi che i set di dati di addestramento includano una rappresentazione sufficiente di tutti i gruppi rilevanti , rivedere periodicamente gli squilibri e correggerli utilizzando tecniche statistiche e di campionamento.

Parallelamente, è fondamentale avere team di sviluppo eterogenei. La varietà in termini di genere, background culturale, disciplina ed esperienze di vita aiuta a identificare problemi che un gruppo omogeneo probabilmente trascurerebbe. L'equità algoritmica non è solo una questione matematica; è una questione di progettazione sociale e organizzativa.

Le verifiche degli algoritmi e i test di equità stanno diventando sempre più comuni. Prima di implementare un sistema in produzione, è consigliabile valutarne le prestazioni con diversi sottogruppi, i tipi di errori che commette e chi ne è maggiormente influenzato. Queste verifiche dovrebbero essere periodiche e trasparenti , non una mera formalità all'inizio del progetto.

Anche la spiegabilità (IA spiegabile, XAI) e la trasparenza giocano un ruolo chiave. Quanto più è comprensibile per utenti e autorità di regolamentazione come e perché un sistema prende determinate decisioni, tanto più facile sarà individuare e correggere eventuali distorsioni nascoste. Ciò include la documentazione chiara della fonte dei dati, dei limiti del modello e delle situazioni in cui non dovrebbe essere utilizzato.

In definitiva, le normative e l'etica forniscono il quadro di riferimento che ci obbliga a prendere tutto questo sul serio. Iniziative come FATML (Fairness, Accountability, Transparency in Machine Learning), i principi FAIR per i dati (Findable, Accessible, Interoperable, Reusable) e le normative UE e statunitensi indicano un modello in cui l'IA deve essere equa, responsabile e verificabile , soprattutto quando ha un impatto sui diritti fondamentali.

Istruzione e regolamentazione: gli altri pilastri per combattere i pregiudizi

Lo sviluppo di tecnologie responsabili non dipende solo da ingegneri e aziende, ma richiede anche quadri giuridici e una cittadinanza informata. Negli Stati Uniti, ad esempio, è stato emanato un decreto presidenziale che stabilisce le linee guida per l'intelligenza artificiale , comprese le direttive in materia di trasparenza, sicurezza e lotta alla discriminazione algoritmica. Tra le altre cose, il decreto si concentra sulla formazione tecnica e sul coordinamento istituzionale per individuare e perseguire potenziali violazioni dei diritti umani.

Nell'Unione Europea, il Regolamento sull'Intelligenza Artificiale mira a garantire che i sistemi siano sicuri, trasparenti, non discriminatori e rispettosi dei diritti fondamentali. Il regolamento distingue tra diversi livelli di rischio e stabilisce che gli algoritmi ad alto rischio non possono prendere decisioni in modo completamente autonomo: deve sempre esserci una persona in grado di intervenire, supervisionare e correggere il sistema.

Inoltre, il regolamento europeo richiede che i modelli siano comprensibili: deve essere possibile identificare quali caratteristiche influenzano le decisioni, con quale peso e in quale contesto. Ciò apre la strada alla possibilità per i singoli individui e le autorità interessate di contestare le decisioni algoritmiche che ritengono inique, cosa che era praticamente impossibile con i sistemi opachi.

L'istruzione, tuttavia, è il terzo pilastro essenziale. Non basta formare gli sviluppatori sulle tecniche di apprendimento automatico; devono comprendere l'impatto sociale delle loro creazioni, essere consapevoli fin dall'inizio dell'esistenza dei pregiudizi e progettare tenendone conto. Altrimenti, per quanto ben intenzionati, finiranno per replicare le stesse ingiustizie che già vediamo nel mondo reale.

È inoltre fondamentale che utenti, manager, operatori sanitari, giudici, giornalisti e il pubblico in generale abbiano una conoscenza di base del funzionamento di queste tecnologie e dei rischi che comportano. Solo così potranno esigere trasparenza, mettere in discussione i risultati e partecipare in modo informato al dibattito sul tipo di intelligenza artificiale che desideriamo.

I pregiudizi della tecnologia non sono un fallimento isolato di alcuni algoritmi mal progettati, ma la manifestazione digitale dei nostri limiti, pregiudizi e disuguaglianze storiche; pertanto, affrontarli richiede una combinazione di dati migliori, modelli più equi, una reale supervisione umana, solidi quadri giuridici e un'ampia formazione che ci permetta di utilizzare l'IA come strumento di equità e non come uno specchio che amplifica il peggio della nostra società.