- Els biaixos tecnològics sorgeixen de dades desbalancejades, decisions algorísmiques opaques i prejudicis humans que es filtren a tot el cicle de vida de la IA.
- El NIST distingeix entre biaixos computacionals, humans i sistèmics, que interactuen i es reforcen en contextos socials desiguals.
- Els exemples reals en sanitat, justícia, ocupació o crèdit mostren danys concrets i reforcen la necessitat d auditories, explicabilitat i supervisió humana.
- Regulació, educació i equips diversos són pilars essencials per dissenyar i desplegar tecnologies més justes i responsables.
Vivim envoltats d'algorismes: ens recomanen sèries, concedeixen crèdits, filtren currículums i prioritzen notícies a les xarxes socials . Moltes vegades donem per fet que, en arribar a un ordinador, aquestes decisions són més objectives i justes que les d'una persona. Però la realitat és força més incòmoda: la tecnologia tampoc és neutral.
Quan un sistema informàtic o d' intel·ligència artificial incorpora biaixos, aquests errors no es queden al món digital: es tradueixen en oportunitats negades, diagnòstics menys precisos, vigilància desigual o decisions econòmiques injustes . Entendre d'on vénen aquests biaixos de la tecnologia, com es classifiquen i quins danys produeixen és clau per desenvolupar i fer servir una IA realment responsable.
Què són els biaixos de la tecnologia i per què no són “fallades tècniques” sense més ni més
En l'àmbit digital, parlem de biaix quan un sistema computacional processa informació de manera desigual, sistemàtica i predictible , afavorint uns grups davant d'altres sense una justificació legítima. No es tracta només d'errors puntuals, sinó de patrons que es repeteixen als resultats.
Aquests biaixos tecnològics poden aparèixer en moltes capes: en les dades amb què s'entrena un model, en el disseny de l'algorisme, en com s'etiqueten els exemples, en les mètriques que s'escullen per optimitzar o fins i tot com interpreten els humans les sortides del sistema. En el fons, els biaixos de la tecnologia reflecteixen i amplifiquen prejudicis humans, desigualtats històriques i decisions de disseny.
Un error molt freqüent és assumir que els ordinadors no s'equivoquen perquè segueixen regles matemàtiques. Darrere de qualsevol solució d'IA hi ha equips que decideixen quines dades fer servir, quines variables són importants, com mesurar l'èxit i quins errors es consideren acceptables. Si aquests equips comparteixen punts cecs o treballen amb informació incompleta, els sistemes resultants poden ser profundament injustos encara que funcionin “tècnicament” bé.
Biaix en les dades d'entrenament: quan el problema neix a la base
Els sistemes d'IA i machine learning aprenen a partir d'exemples. Si el conjunt de dades amb què s'entrenen està desbalancejat, mal etiquetat o arrossega prejudicis històrics, el model aprendrà aquests patrons esbiaixats com si fossin la “normalitat” del món . Aquí és on s'origina una bona part del problema.
Una font clàssica és el biaix de representació: certs grups apareixen en excés i altres gairebé no existeixen en les dades. Un algorisme de reconeixement facial entrenat sobretot amb fotos de persones blanques tendirà a funcionar molt bé amb aquest grup ia cometre molts errors més amb persones negres, asiàtiques o d'altres minories. El mateix passa si les dades policials procedeixen sobretot de barris racialitzats: la IA assumirà que hi ha més criminalitat, quan el que hi ha és més presència policial històrica.
També influeix de manera crítica com s'etiqueten les dades. Quan persones humanes assignen categories, descripcions o puntuacions, poden introduir-hi els propis prejudicis. Eines de selecció de personal que marquen certs perfils com a més “vàlids” poden haver estat entrenades amb etiquetes on es descartaven, sense una raó objectiva, dones, persones grans o candidats de determinades universitats o països.
En el terreny estadístic, parlem de biaix quan la mostra no representa realment la població que es vol modelar. El resultat és un model que sembla funcionar bé en les dades d'entrenament, però que al món real afavoreix de forma sistemàtica certs perfils i penalitza altres que estaven infrarepresentats o mal descrits a la base de dades original.
Biaix algorítmic: decisions de disseny que amplifiquen la desigualtat
Fins i tot amb bones dades, el disseny de l'algorisme pot introduir biaix. Parlem de biaix algorítmic quan, a causa de la manera com està construït el model oa les regles que aplica, es generen de manera reiterada resultats injustos, errors esbiaixats o impactes desproporcionats sobre certs grups.
Un exemple clar apareix als models que utilitzen variables aparentment neutres, com ara el codi postal, el nivell d'ingressos o determinats patrons de consum. Encara que l'algorisme no “vegi” directament la raça o el gènere, aquestes variables poden actuar com a proxies de categories sensibles , reproduint biaixos racials, de classe o de gènere que no estaven explícitament codificats.
A la programació també es poden colar els prejudicis dels desenvolupadors. Si qui dissenya el sistema decideix, de manera conscient o inconscient, que certs factors s'han de ponderar més que altres, pot estar traslladant la seva pròpia visió esbiaixada del que és “mèrit”, “risc” o “normalitat” . El resultat: algorismes de crèdit que penalitzen de manera automàtica persones de baixos ingressos, o sistemes de recomanació que silencien sistemàticament certs continguts o col·lectius.
El National Institute of Standards and Technology (NIST) subratlla que limitar-se a corregir el que es veu a la superfície (els resultats del model ja entrenat) és quedar-se a la punta de l'iceberg . Per abordar el biaix algorítmic amb rigor cal revisar tot el cicle de disseny, des de quin problema es formula fins a quines mètriques es fan servir per avaluar si el sistema és acceptable.
Biaixos humans i cognitius: com pensem es cola en la tecnologia
Els biaixos no neixen a la màquina: neixen al nostre cap. Les persones utilitzem dreceres mentals, heurístiques i creences prèvies per prendre decisions ràpides en un món complex. Aquestes dreceres produeixen biaixos cognitius que, quan participem en el disseny, l'entrenament o la supervisió de sistemes d'IA, acaben traslladant-se al codi ia les dades.
Un dels més coneguts és el biaix de confirmació. Tendem a buscar, interpretar i recordar la informació que encaixa amb allò que ja pensàvem, ignorant o minimitzant el que ens contradiu. Si un equip de desenvolupament creu que cert patró és “el normal”, pot triar dades i mètriques que en reforcin la hipòtesi , descartant casos que la qüestionen. Això afecta tant la selecció de variables com la validació del model.
Un altre clàssic és el biaix d'ancoratge: donem un pes excessiu a la primera informació que rebem. En contextos digitals, un preu inicial molt alt pot convertir qualsevol rebaixa posterior en una “oferta irresistible”, encara que no ho sigui. Una cosa semblant passa quan un sistema d'IA mostra una primera recomanació o predicció: aquesta sortida inicial funciona com a àncora per a les decisions posteriors d'usuaris, analistes o responsables de negoci.
També opera l'efecte halo: valorem una persona, un producte o una idea en funció d'una característica cridanera. En processos de selecció automatitzats, un títol d'una universitat prestigiosa pot fer que un algorisme, entrenat amb dades històriques, sobrevalori sistemàticament els que procedeixen d'aquests centres i subestimi candidats igual o més vàlids d'institucions menys conegudes.
El biaix de negativitat implica que prestem més atenció i donem més pes a la informació negativa. En models de detecció de frau o de riscos, això es pot traduir en algoritmes que prioritzen tant evitar certs errors que acaben generant molts falsos positius , penalitzant persones innocents pel simple fet d'assemblar-se estadísticament a casos problemàtics del passat.
Tots aquests biaixos cognitius s'introdueixen al sistema en múltiples moments: en decidir quin problema resoldre, en dissenyar l'arquitectura, en fer l'etiquetatge manual de dades, en triar les funcions de pèrdua (que poden penalitzar més unes errades que altres) o en interpretar-ne els resultats. Per això el NIST insisteix que els factors humans, socials i institucionals són una font de biaix tan important com les dades o els algoritmes, i que sovint es passen per alt.
Més enllà dels errors estadístics o cognitius, hi ha biaixos incrustats en la pròpia estructura de la societat: el racisme, el sexisme, la desigualtat de classe, la discriminació cap a certes edats o identitats. Aquests biaixos sistèmics no deriven sempre de prejudicis conscients d'individus concrets, sinó de normes, pràctiques i institucions que han funcionat durant dècades o segles.
Quan recopilem dades històriques per entrenar sistemes d'IA, el que estem fent és encapsular en forma de números i registres digitals aquesta història desigual. Els algorismes que aprenen d'aquestes dades acaben reproduint allò que “sempre ha passat”: menys dones en llocs directius, més detencions a certs barris, menys accés al crèdit per a determinades comunitats. La IA, en lloc de corregir la injustícia, la reforça amb aparença dobjectivitat.
Alguns marcs distingeixen aquí entre biaix social i biaix estadístic. El biaix social té a veure amb els prejudicis, els estereotips i les inclinacions arrelats en una cultura. El biaix estadístic apareix quan hi ha una diferència sistemàtica entre el que estimen les dades i la realitat que suposadament representen . Tots dos s'entremesclen: les dades desbalancejades solen ser el reflex numèric d'una desigualtat social prèvia.
Les normes, processos i pràctiques institucionals al llarg del cicle de vida de la IA també hi contribueixen. Des de quins projectes es financen i quins sectors reben més atenció, fins a com s'implementen els sistemes a empreses i administracions públiques. El resultat és que els biaixos sistèmics es colen als datasets, als models ia la manera d'usar-los sobre el terreny.
La tipologia del NIST: biaixos computacionals, humans i sistèmics
La publicació especial 1270 del NIST, “Towards a Standard for Identifying and Managing Bias in Artificial Intelligence”, ha esdevingut una referència a l'hora d'ordenar aquest tema. Aquest document identifica tres grans categories de biaixos en IA: biaixos computacionals o estadístics, biaixos humans i biaixos sistèmics.
Els biaixos computacionals són els que es poden mesurar directament en el rendiment d'un model d'IA ja entrenat: diferències en les taxes d'error, les puntuacions o els resultats segons el grup poblacional. Inclouen coses com el biaix de selecció de dades (quan el conjunt d'entrenament no representa bé la realitat) o el biaix algorísmic en sentit estricte (quan la forma de càlcul afavoreix certs resultats).
Els biaixos humans abasten tots els prejudicis i errors sistemàtics en el pensament de les persones que intervenen al cicle de vida de la IA. Aquí entren els biaixos cognitius ja comentats (confirmació, ancoratge, efecte halo, negativitat…), que afecten la recollida de dades, l'etiquetatge, la definició d'objectius, l'elecció de mètriques o la interpretació dels informes que genera un sistema.
Finalment, els biaixos sistèmics es refereixen a les desigualtats estructurals arrelades a la societat i les seves institucions. Aquests biaixos es plasmen en les dades històriques, les regulacions existents, les pràctiques organitzatives i els incentius econòmics. Un exemple evident és que, si durant dècades s'han detingut més persones d'una minoria concreta per pràctiques policials discriminatòries, les dades resultants faran que un sistema de predicció delictiva assenyali una vegada i una altra aquestes mateixes comunitats.
El NIST també destaca tres grans reptes per mitigar aquests biaixos: millorar la qualitat i la diversitat dels conjunts de dades, desenvolupar marcs robustos de proves i avaluació que incloguin criteris d'equitat, i abordar de front els factors humans i organitzatius , integrant l'ètica i la supervisió al llarg de tot el procés.
Biaix d'automatització: confiar massa en la màquina
A més dels biaixos ja esmentats, les regulacions europees han posat el focus en un fenomen cada cop més freqüent: el biaix d'automatització. El Reglament d'IA de la UE, a l'article 14.4.b), assenyala el risc que les persones tendeixin a confiar automàticament o en excés en els resultats generats per un sistema d'IA, encara que aquests siguin erronis o estiguin esbiaixats.
Aquest biaix d‟automatització està molt relacionat amb el biaix de confirmació i el d‟ancoratge. Si confiem cegament en la sortida d'un sistema, és més probable que busquem informació que reforci el que ha dit la màquina, i que prenguem aquesta resposta com a referència inicial per a tota la resta. Els suggeriments de la IA es converteixen en una “veritat per defecte” que condiciona el judici humà.
Per això la normativa europea insisteix en la necessitat que, en sistemes d'alt risc (per exemple, els que afecten drets fonamentals), sempre hi hagi una persona supervisant. No es tracta de tenir un humà prement un botó al final, sinó que pugui aportar context, qüestionar la decisió automàtica i revertir-la quan detecti que no encaixa amb la realitat del cas concret.
Exemples reals de biaixos tecnològics i les seues conseqüències
Quan els biaixos de la tecnologia es materialitzen en sistemes reals, els danys són molt concrets. Organitzacions de tota mena han patit cops reputacionals i legals per no anticipar aquestes situacions, mentre que les persones afectades poden ni tan sols saber que una decisió injusta ha estat presa per un algorisme.
En sanitat, la infrarepresentació de dones o minories a les dades clíniques ha fet que alguns algoritmes diagnòstics ofereixin resultats menys precisos per a certs grups . S'han observat sistemes de suport al diagnòstic assistit per ordinador que funcionen pitjor amb pacients afroamericans que amb pacients blancs, perpetuant desigualtats ja existents a l'atenció mèdica.
A nivell laboral, una gran empresa tecnològica va haver de rebutjar un sistema de selecció de personal basat en IA quan va descobrir que penalitzava sistemàticament les dones. L'algoritme havia après d'un històric de contractació majoritàriament masculí, fet que el va portar a afavorir currículums similars als dels homes que ja eren a la plantilla ia filtrar indicis de gènere femení negativament.
Un altre cas són els sistemes de classificació de risc en justícia penal, com ara COMPAS als Estats Units, que van ser acusats d'assignar taxes de risc de reincidència més altes a persones negres que a persones blanques en situacions comparables. Encara que els proveïdors van defensar la seva tecnologia, diverses anàlisis independents van posar en relleu patrons de disparitat racials.
Al món de la visió artificial, eines d'etiquetatge automàtic d'imatges han arribat a classificar fotos de persones negres amb termes greument ofensius, cosa que va evidenciar tant la manca de diversitat en les dades com l'absència de controls de qualitat i sensibilitat cultural. Estudis amb generadors d'imatges com Stable Diffusion o eines similars van mostrar que, quan es demanaven fotografies de determinades professions, apareixien sobretot homes blancs com a directius , mentre que a les dones ia persones de pell fosca se les associava amb feines pitjor valorades o fins i tot amb rols delictius.
Al crèdit i les finances, els models que utilitzen l'historial bancari, el codi postal o determinats patrons de despesa com a variables clau poden desembocar en una discriminació indirecta. Persones perfectament solvents poden veure denegades les seves sol·licituds de préstec perquè el sistema, basant-se en dades històriques, considera que els que viuen en determinats barris o tenen cert perfil socioeconòmic suposen “més risc” , encara que l'anàlisi individual expliqui una altra història.
A la vigilància i la seguretat, les eines de policia predictiva que utilitzen dades de detencions històriques han estat criticades per reforçar la sobrevigilància en comunitats concretes. Si durant anys s'ha patrullat més en una zona per motius racials o de classe, les dades mostraran més incidents allà, i l'algorisme recomanarà
tornar una vegada i una altra, produint un bucle de retroalimentació que legitima pràctiques discriminatòries.
On s'originen els biaixos informàtics al cicle tecnològic
Si mirem el cicle complet de desenvolupament tecnològic, els biaixos poden aparèixer pràcticament en qualsevol fase. En la recollida de dades, si es fan servir fonts històriques desbalancejades o s'exclouen sistemàticament certes poblacions, ja s'està sembrant el problema. En el disseny de l'algorisme, l'elecció de variables, arquitectures i objectius d'optimització condiciona quin tipus d'errors s'han de tolerar més.
A la fase d'entrenament, el famós principi GIGO (Garbage In, Garbage Out) cobra tot el seu sentit: si alimentes un model amb dades escombraries, per molt sofisticat que sigui l'algorisme, el resultat continuarà sent escombraries… però embolicada en llenguatge tècnic i mètriques brillants. El desequilibri en les dades (data skew) pot fer que el model memoritzi patrons de la majoria i falli estrepitosament a la minoria.
Durant la validació, si només es mesuren mètriques globals de precisió sense desglossar per subgrups (gènere, edat, ètnia, regió…), un model molt injust pot passar els controls perquè “en mitjana” sembla que funciona de meravella. Això s´agreuja si l´equip de desenvolupament és massa homogeni i no es planteja certes preguntes perquè no formen part de la seva experiència vital.
A la fase de desplegament, apareixen a més els efectes de bucle de retroalimentació: un sistema esbiaixat pot influir en el comportament dels usuaris i generar noves dades que reforcen els mateixos patrons. Per exemple, si un motor de recomanacions només mostra certs tipus de continguts a determinats perfils, amb el temps semblarà que aquests usuaris només consumeixen aquest tipus de contingut perquè no han tingut accés a la resta.
Finalment, en la interpretació dels resultats, el biaix d'automatització i la manca d'explicabilitat poden provocar que responsables de negoci, metges, jutges o reclutadors acceptin sense qüestionar què diu la màquina, fins i tot quan contradiu l'evidència qualitativa que tenen davant.
Com reduir els biaixos en la tecnologia i la IA
No hi ha una recepta màgica per eliminar completament els biaixos, però sí un conjunt de pràctiques que poden reduir-los significativament. La primera és diversificar les dades: assegurar-se que els conjunts d'entrenament inclouen representació suficient de tots els grups rellevants , revisar periòdicament els desbalances i corregir-los amb tècniques estadístiques i de mostreig.
En paral·lel, és crucial comptar amb equips de desenvolupament diversos. La varietat de gènere, origen cultural, disciplina i experiència vital ajuda a detectar problemes que un grup homogeni probablement passaria per alt. L'equitat algorísmica no és només un assumpte de matemàtiques; és un tema de disseny social i organitzatiu.
També s?estan imposant les auditories d?algoritmes i les proves d?equitat (fairness tests). Abans de posar un sistema en producció, convé avaluar com es comporta amb diferents subgrups, quins tipus d'errors comet ia qui afecten més. Aquestes auditories haurien de ser periòdiques i transparents , no pas un simple tràmit a l'inici del projecte.
L'explicabilitat (Explainable AI, XAI) i la transparència tenen un altre paper clau. Com més entenedora sigui per als usuaris i reguladors com i per què un sistema pren les seves decisions, més fàcil serà detectar biaixos ocults i corregir-los. Això inclou documentar clarament l'origen de les dades, les limitacions del model i les situacions en què no s'hauria d'usar.
Finalment, les normatives i l'ètica són el marc que obliga a prendre's tot això de debò. Iniciatives com FATML (Fairness, Accountability, Transparency in Machine Learning), els principis de dades FAIR (Findable, Accessible, Interoperable, Reusable) i les regulacions de la UE i dels EUA apunten cap a un model en què la IA ha de ser justa, responsable i verificable , especialment quan.
Educació i regulació: els altres pilars per combatre els biaixos
El desenvolupament de tecnologies responsables no depèn només de tècnics i empreses; també requereix marcs legals i una ciutadania formada. Als Estats Units, per exemple, s'ha aprovat una ordre executiva que estableix línies mestres per a la IA , incloent-hi directrius sobre transparència, seguretat i lluita contra la discriminació algorítmica. Entre altres coses, posa el focus en la formació tècnica i la coordinació institucional per detectar i perseguir possibles violacions de drets.
A la Unió Europea, el Reglament d'Intel·ligència Artificial persegueix garantir que els sistemes siguin segurs, transparents, no discriminatoris i respectuosos amb els drets fonamentals. La norma distingeix entre diferents nivells de risc i estableix que els algorismes d'alt risc no poden prendre decisions de manera totalment autònoma: sempre hi ha d'haver una persona capaç d' intervenir, supervisar i corregir el sistema.
A més, el Reglament europeu exigeix que els models siguin comprensibles: cal poder identificar quines característiques influeixen en les decisions, amb quin pes i en quin context. Això obre la porta que persones afectades i autoritats puguin qüestionar decisions algorítmiques que considerin injustes, cosa que amb sistemes opacs era pràcticament impossible.
L'educació, però, és el tercer pilar indispensable. No n'hi ha prou de formar els desenvolupadors en tècniques de machine learning; cal que entenguin l'impacte social de les seves creacions, que siguin conscients que els biaixos existeixen des del minut ui que dissenyin amb aquesta idea al cap. En cas contrari, per molt ben intencionats que siguin, acabaran replicant les mateixes injustícies que ja veiem fora de la pantalla.
També és important que usuaris, directius, professionals sanitaris, jutges, periodistes i la població general tinguen nocions bàsiques de com funcionen aquestes tecnologies i de quins riscos impliquen. Només així podran exigir transparència, qüestionar resultats i participar de manera informada en el debat sobre quin tipus d'intel·ligència artificial volem.
Els biaixos de la tecnologia no són una fallada aïllada d'alguns algorismes mal dissenyats, sinó la manifestació digital de les nostres pròpies limitacions, prejudicis i desigualtats històriques; per això, afrontar-los exigeix una combinació de millors dades, models més justos, supervisió humana real, marcs legals sòlids i una educació àmplia que ens permeti fer servir la IA com una eina al servei de l'equitat i no com un mirall que amplifica el pitjor de la nostra societat.
