Teknologibias: hvordan de opstår, typer og nøgleeksempler

Informatic Digital » Recursos » Teknologibias: hvordan de opstår, typer og nøgleeksempler

Vi lever omgivet af algoritmer: de anbefaler ting til os. serier, tilskud, filtrere CV'er og De prioriterer nyheder på sociale medier.Vi antager ofte, at fordi disse beslutninger kommer fra en computer, er de mere objektive og retfærdige end dem, der træffes af en person. Men virkeligheden er langt mere ubehagelig: teknologi er heller ikke neutral.

Når en computer eller et system kunstig intelligens Det inkorporerer bias; disse fejl forbliver ikke i den digitale verden: de omsættes til nægtede muligheder, mindre præcise diagnoser, ulige overvågning eller urimelige økonomiske beslutningerAt forstå, hvor disse teknologiske bias kommer fra, hvordan de klassificeres, og hvilken skade de forårsager, er nøglen til at udvikle og bruge virkelig ansvarlig AI.

Hvad er teknologiske bias, og hvorfor er de ikke blot "tekniske fejl"?

I den digitale verden taler vi om bias, når et computersystem behandler information på en måde, der... ujævn, systematisk og forudsigeligfavorisering af visse grupper frem for andre uden legitim begrundelse. Dette er ikke blot isolerede fejl, men tilbagevendende mønstre i resultaterne.

Disse teknologiske bias kan optræde på mange niveauer: i de data, der bruges til at træne en model, i algoritmedesignet, i hvordan eksempler mærkes, i de metrikker, der vælges til optimering, eller endda i hvordan mennesker fortolker systemets output. I sidste ende er disse teknologiske bias. De afspejler og forstærker menneskelige bias, historiske uligheder og designbeslutninger.

En meget almindelig fejl er at antage, at computere "ikke laver fejl", fordi de følger matematiske regler. Bag enhver AI-løsning er der hold, der bestemmer Hvilke data skal bruges, hvilke variabler er vigtige, hvordan måler man succes, og hvilke fejl anses for acceptable? Hvis disse teams deler blinde vinkler eller arbejder med ufuldstændige oplysninger, kan de resulterende systemer være mangelfulde. dybt uretfærdigt, selvom de fungerer "teknisk" godt.

Bias i træningsdata: når problemet stammer fra databasen

AI og maskinlæringssystemer lærer af eksempler. Hvis datasæt Hvis træningsmetoden er ubalanceret, forkert mærket eller bærer historiske bias, vil modellen lære disse biasmønstre, som om de var de "Verdens normalitet"Det er her, hvor meget af problemet stammer fra.

En klassisk kilde er repræsentationsbias: visse grupper optræder i overtal, og andre findes knap nok i dataene. En ansigtsgenkendelsesalgoritme Kunstig intelligens, der primært er trænet på billeder af hvide mennesker, vil have en tendens til at klare sig rigtig godt med den gruppe og lave langt flere fejl med sorte, asiatiske eller andre minoritetsindivider. Det samme gælder, hvis politidata primært kommer fra raceprægede kvarterer: Kunstig intelligens vil antage højere kriminalitetsrater der, når der i virkeligheden blot er en større historisk polititilstedeværelse.

Hvordan data mærkes har også en afgørende indflydelse. Når mennesker tildeler kategorier, beskrivelser eller scorer, kan de introducere deres egne bias. Værktøjer til personaleudvælgelse De, der markerer bestemte profiler som mere "gyldige", kan være blevet trænet med etiketter, der uden objektiv grund ekskluderer kvinder, ældre eller kandidater fra bestemte universiteter eller lande.

I statistik taler vi om bias, når stikprøven ikke reelt repræsenterer den population, der modelleres. Resultatet er en model, der tilsyneladende fungerer godt med træningsdata, men som ikke klarer sig så godt i den virkelige verden. Den favoriserer systematisk bestemte profiler og straffer andre. som var underrepræsenteret eller dårligt beskrevet i den oprindelige database.

Algoritmisk bias: designbeslutninger, der forstærker ulighed

Selv med gode data kan algoritmens design introducere bias. Vi taler om algoritmisk bias, når der gentagne gange genereres bias på grund af den måde, modellen er konstrueret på, eller de regler, den anvender. urimelige resultater, forudindtagede fejl eller uforholdsmæssige konsekvenser om bestemte grupper.

Et tydeligt eksempel ses i modeller, der bruger tilsyneladende neutrale variabler, såsom postnummer, indkomstniveau eller bestemte forbrugsmønstre. Selvom algoritmen ikke direkte "ser" race eller køn, kan disse variabler fungere som proxyer for følsomme kategorierreproduktion af racemæssige, klassemæssige eller kønsmæssige fordomme, der ikke var eksplicit kodificeret.

Udviklerbias kan også snige sig ind i programmeringen. Hvis systemdesigneren bevidst eller ubevidst beslutter, at visse faktorer skal tillægges mere vægt end andre, kan de overføre deres egne bias. eget forudindtaget syn på, hvad der udgør "fortjeneste", "risiko" eller "normalitet". Resultatet: kreditalgoritmer der automatisk straffer lavindkomstpersoner, eller anbefalingssystemer, der systematisk undertrykker bestemt indhold eller grupper.

National Institute of Standards and Technology (NIST) understreger, at blot det at korrigere det, der ses på overfladen (resultaterne af den allerede trænede model), er at forblive på det rette niveau. toppen af ​​isbjergetFor at håndtere algoritmisk bias grundigt skal hele designcyklussen gennemgås, fra problemet formuleres til de metrikker, der bruges til at vurdere, om systemet er acceptabelt.

Menneskelige og kognitive bias: hvordan vores tankegang siver ind i teknologi

Fordomme fødes ikke i maskinen: de fødes i vores sind. Vi mennesker bruger mentale genveje, heuristikker og forudfattede overbevisninger til at træffe hurtige beslutninger i en kompleks verden. Disse genveje producerer sesgos kognitivos at når vi deltager i design, træning eller overvågning af AI-systemer, ender med at blive overført til koden og dataene.

En af de mest kendte er bekræftelsesbias. Vi har en tendens til at søge, fortolke og huske information, der passer med det, vi allerede tænker, og ignorere eller minimere alt, der modsiger os. Hvis et udviklingsteam mener, at et bestemt mønster er "normalt", kan de Vælg data og målinger, der understøtter din hypoteseudelukker tilfælde, der udfordrer den. Dette påvirker både udvælgelsen af ​​variabler og valideringen af ​​modellen.

Et andet klassisk eksempel er forankringsbias: vi lægger for stor vægt på den første information, vi modtager. I digitale sammenhænge kan en meget høj startpris få ethvert efterfølgende prisfald til at virke som et "uimodståeligt tilbud", selvom det ikke er det. Noget lignende sker, når et AI-system viser en indledende anbefaling eller forudsigelse: det indledende output fungerer som anker for efterfølgende beslutninger fra brugere, analytikere eller forretningsledere.

Haloeffekten spiller også ind: vi værdsætter en person, et produkt eller en idé baseret på en slående egenskab. I automatiserede udvælgelsesprocesser kan en grad fra et prestigefyldt universitet føre en algoritme, der er trænet på historiske data, til at... systematisk overvurderer dem, der kommer fra disse centre og undervurdere lige så eller mere kvalificerede kandidater fra mindre kendte institutioner.

Negativitetsbias betyder, at vi er mere opmærksomme på og vægter negativ information mere. I modeller for svindeldetektering eller risikomodeller kan dette resultere i algoritmer, der prioriterer at undgå bestemte fejl så meget, at de ender med at genererer mange falske positiverat straffe uskyldige mennesker blot fordi de statistisk set ligner problematiske sager fra fortiden.

Alle disse kognitive bias introduceres i systemet på flere tidspunkter: når man beslutter, hvilket problem der skal løses, når arkitekturen designes, når data manuelt mærkes, når man vælger tabsfunktioner (som kan straffe nogle fejl mere end andre), eller når resultaterne fortolkes. Derfor insisterer NIST på, at menneskelige, sociale og institutionelle faktorer De er en lige så vigtig kilde til bias som data eller algoritmer, og bliver ofte overset.

Systemiske og sociale bias: Når AI arver historien

Ud over statistiske eller kognitive fejl er der bias indlejret i selve samfundets struktur: racisme, sexisme, klasseulighed, diskrimination mod bestemte aldre eller identiteter. Disse systemiske bias stammer ikke altid fra bevidste fordomme ikke af specifikke individer, men af ​​normer, praksisser og institutioner, der har fungeret i årtier eller århundreder.

Når vi indsamler historiske data for at træne AI-systemer, indkapsler vi den ulige historie i form af tal og digitale optegnelser. De algoritmer, der lærer af disse data, ender med at reproducere, hvad der "altid har været tilfældet": færre kvinder i lederstillinger, flere anholdelser i visse kvarterer, mindre adgang til kredit for visse lokalsamfund. AI, i stedet for at korrigere uretfærdighed, Det forstærker det med et indtryk af objektivitet.

Nogle rammer skelner her mellem social bias og statistisk bias. Social bias vedrører fordomme, stereotyper og tilbøjeligheder, der er indgroet i en kultur. Statistisk bias opstår, når der er en systematisk forskel mellem, hvad dataene estimerer, og den virkelighed, de angiveligt repræsentererBegge er sammenflettede: ubalancerede data er ofte den numeriske afspejling af en allerede eksisterende social ulighed.

Institutionelle normer, processer og praksisser i hele AI-livscyklussen bidrager også. Disse spænder fra hvilke projekter der finansieres, og hvilke sektorer der får mere opmærksomhed, til hvordan systemer implementeres i virksomheder og offentlige forvaltninger. Resultatet er, at systemiske bias siver ind i datasæt, i modellerne og i måden de bruges på på terrænet.

NIST-typologien: beregningsmæssige, menneskelige og systemiske bias

NIST-specialpublikation 1270, “Mod en standard for identificering og håndtering af bias i kunstig intelligens”, er blevet en vigtig reference til forståelse af dette emne. Dette dokument identificerer tre hovedkategorier af bias i kunstig intelligens: beregningsmæssige eller statistiske bias, menneskelige bias og systemiske bias.

Beregningsmæssige biaser er dem, der kan måles direkte i ydeevnen af ​​en trænet AI-model: forskelle i fejlrater, scorer eller resultater afhængigt af befolkningsgruppen. De omfatter ting som... dataudvælgelsesbias (når træningssættet ikke nøjagtigt repræsenterer virkeligheden) eller algoritmisk bias i streng forstand (når beregningsmetoden favoriserer bestemte resultater).

Menneskelige bias omfatter alle fordomme og systematiske fejl i tankegangen hos mennesker involveret i AI's livscyklus. Dette inkluderer de kognitive bias, der allerede er diskuteret (bekræftelsesbias, forankringsbias, haloeffekt, negativitetsbias osv.), som påvirker dataindsamling, mærkning, målsætning, valg af metrikker og fortolkningen af ​​rapporter genereret af et system.

Endelig refererer systemiske bias til strukturelle uligheder, der er rodfæstet i samfundet og dets institutioner. Disse bias afspejles i historiske data, eksisterende regler og organisatorisk praksis og i økonomiske incitamenter. Et klart eksempel er, at hvis flere personer fra et specifikt mindretal i årtier er blevet arresteret på grund af diskriminerende politipraksis, vil de resulterende data få et kriminalitetsforudsigelsessystem til gentagne gange at målrette sig mod de samme samfund.

NIST fremhæver også tre store udfordringer for at afbøde disse bias: forbedring af datasættenes kvalitet og diversitet, udvikling af robuste test- og evalueringsrammer, der inkluderer kriterier for retfærdighed, og direkte adressering af menneskelige og organisatoriske faktorerintegrering af etik og supervision gennem hele processen.

Automatiseringsbias: at stole for meget på maskinen

Ud over de allerede nævnte bias har europæiske reguleringer fokuseret på et stadig mere almindeligt fænomen: automatiseringsbias. EU's AI-forordning påpeger i artikel 14.4, litra b), risikoen for, at folk kan have en tendens til at automatisk eller overdreven afhængighed i de resultater, der genereres af et AI-system, selvom disse er fejlagtige eller forudindtagede.

Denne automatiseringsbias er tæt forbundet med bekræftelsesbias og forankringsbias. Hvis vi blindt stoler på et systems output, er vi mere tilbøjelige til at søge information, der forstærker, hvad maskinen har sagt, og bruge dette svar som det indledende referencepunkt for alt andet. AI-forslag bliver en "sandhed som standard" der betinger menneskelig dømmekraft.

Derfor insisterer europæiske regler på, at et menneske altid skal føre tilsyn med højrisikosystemer (f.eks. dem, der påvirker grundlæggende rettigheder). Det handler ikke om, at et menneske trykker på en knap til sidst, men om at sikre, at de kan... give kontekst, sætte spørgsmålstegn ved den automatiske beslutning og omgøre den når den opdager, at det ikke stemmer overens med virkeligheden i den specifikke sag.

Eksempler fra den virkelige verden på teknologiske bias og deres konsekvenser

Når teknologiske bias materialiserer sig i virkelige systemer, er skaden meget konkret. Organisationer af alle slags har lidt omdømmemæssige og juridiske skader for ikke at have forudset disse situationer, mens berørte individer kan ved ikke engang at en algoritme har truffet en urimelig beslutning.

Inden for sundhedsvæsenet har underrepræsentationen af ​​kvinder eller minoriteter i kliniske data ført til, at nogle diagnostiske algoritmer tilbyder mindre præcise resultater for visse grupperDet er observeret, at computerassisterede diagnostiske støttesystemer klarer sig dårligere med afroamerikanske patienter end med hvide patienter, hvilket forstærker eksisterende uligheder i sundhedsvæsenet.

På arbejdspladsen måtte en stor teknologivirksomhed skrotte et AI-baseret rekrutteringssystem, da de opdagede, at det systematisk straffede kvinder. Algoritmen havde lært af en historie med overvejende mandlig ansættelse, hvilket førte til, at foretrækker CV'er svarende til mænds som allerede var i personalet og allerede negativt filtrerede tegn på kvindeligt køn fra.

Et andet eksempel er risikoklassificeringssystemer inden for strafferet, såsom COMPAS i USA, der blev beskyldt for at tildele sorte mennesker højere recidivrisiko end hvide mennesker i sammenlignelige situationer. Selvom udbyderne forsvarede deres teknologi, fremhævede flere uafhængige analyser [problemet]. mønstre af racemæssig ulighed.

Inden for computervision er automatiske billedmærkningsværktøjer gået så langt som til at klassificere fotos af sorte mennesker med stærkt stødende termer, hvilket fremhæver både manglende datadiversitet og fravær af kvalitetskontrol og kulturel følsomhed. Undersøgelser med billedgeneratorer som Stable Diffusion eller lignende værktøjer viste, at når der blev anmodet om fotografier af specifikke professioner, dukkede de for det meste op. hvide mænd som lederemens kvinder og personer med mørk hud blev forbundet med lavere værdsatte job eller endda kriminelle roller.

Inden for kredit og finans kan modeller, der bruger bankhistorik, postnummer eller bestemte forbrugsmønstre som nøglevariabler, føre til indirekte diskrimination. Fuldt kreditværdige personer kan få deres låneansøgninger afvist, fordi systemet, baseret på historiske data, vurderer, at de, der bor i bestemte kvarterer eller har en bestemt socioøkonomisk profil, er uønskede. "mere risiko"selvom individuelle analyser fortæller en anden historie.

Inden for overvågning og sikkerhed er prædiktive politiværktøjer, der bruger historiske anholdelsesdata, blevet kritiseret for at forstærke overdreven politiarbejde i bestemte lokalsamfund. Hvis et område har været patruljeret mere intensivt i årevis på grund af racemæssige eller klassemæssige årsager, vil dataene vise flere hændelser der, og algoritmen vil anbefale...
vender tilbage igen og igen og producerer en feedback-løkke der legitimerer diskriminerende praksis.

Hvor stammer computerbias fra i teknologicyklussen?

Når man ser på hele den teknologiske udviklingscyklus, kan bias opstå på stort set alle stadier. I dataindsamling sår brugen af ​​ubalancerede historiske kilder eller systematisk udelukkelse af bestemte populationer allerede kimen til problemet. I algoritmedesign påvirker valget af variabler, arkitekturer og optimeringsmål resultatet. hvilken slags fejl De vil blive tolereret mere.

I træningsfasen bliver det berømte GIGO-princip (Garbage In, Garbage Out) virkelig relevant: Hvis du fodrer en model med skralddata, uanset hvor sofistikeret algoritmen er, vil resultatet stadig være skrald ... men pakket ind i teknisk sprog og skinnende metrikker. Dataforvrængning kan få modellen til at præstere dårligt. huske mønstre fra flertallet og fejler ynkeligt i mindretal.

Hvis der under validering kun måles globale nøjagtighedsmålinger uden at opdele dem i undergrupper (køn, alder, etnicitet, region osv.), kan en meget urimelig model bestå kontrollerne, fordi den "i gennemsnit" ser ud til at fungere perfekt. Dette forværres, hvis udviklingsteamet er for homogent, og Den stiller ikke bestemte spørgsmål fordi de ikke er en del af deres livserfaring.

I implementeringsfasen opstår der også feedback-loop-effekter: et forudindtaget system kan påvirke brugeradfærd og generere nye data, der forstærker de samme mønstre. Hvis en anbefalingsmotor for eksempel kun viser bestemte typer indhold til bestemte brugerprofiler, vil det over tid se ud til, at disse brugere kun forbruger den type indhold, fordi De har ikke haft adgang til resten.

Endelig kan automatiseringsbias og manglende forklaringsevne i fortolkningen af ​​resultaterne føre til, at virksomhedsledere, læger, dommere eller rekrutterere uden tvivl accepterer, hvad maskinen siger, selv når det modsiger det. kvalitativ evidens som de har foran

Sådan reducerer du bias inden for teknologi og AI

Der findes ingen mirakelkur til fuldstændigt at eliminere bias, men der findes en række fremgangsmåder, der kan reducere den betydeligt. Den første er at diversificere dataene: sørg for, at træningssættene inkluderer tilstrækkelig repræsentation af alle relevante grupper, regelmæssigt gennemgå ubalancer og korrigere dem ved hjælp af statistiske teknikker og stikprøveteknikker.

Parallelt hermed er det afgørende at have mangfoldige udviklingsteams. Variation i køn, kulturel baggrund, disciplin og livserfaring hjælper med at identificere problemer, som en homogen gruppe sandsynligvis ville overse. Algoritmisk retfærdighed er ikke kun et spørgsmål om matematik; det er et spørgsmål om socialt og organisatorisk design.

Algoritme-revisioner og fairness-tests bliver også mere og mere almindelige. Før et system implementeres i produktion, er det tilrådeligt at evaluere, hvordan det klarer sig med forskellige undergrupper, hvilke typer fejl det laver, og hvem der er mest berørt. Disse revisioner bør være periodisk og gennemsigtigikke blot en formalitet i projektets start.

Forklarbarhed (forklarbar AI, XAI) og gennemsigtighed spiller også en nøglerolle. Jo mere forståeligt det er for brugere og regulatorer, hvordan og hvorfor et system træffer sine beslutninger, desto lettere er det at opdage skjulte bias og korrigere dem. Dette omfatter tydelig dokumentation af dataenes oprindelse, modellens begrænsninger og de situationer, hvor bør ikke bruges.

Endelig danner regler og etik rammerne, der tvinger os til at tage alt dette alvorligt. Initiativer som FATML (Fairness, Accountability, Transparency in Machine Learning), FAIR-dataprincipperne (Findable, Accessible, Interoperable, Reusable) og EU- og USA-regler peger mod en model, hvor AI skal være retfærdig, ansvarlig og verificerbarIsær når det påvirker grundlæggende rettigheder.

Uddannelse og regulering: de andre søjler i bekæmpelsen af ​​bias

Udviklingen af ​​ansvarlige teknologier afhænger ikke kun af ingeniører og virksomheder; det kræver også juridiske rammer og en informeret befolkning. I USA er der for eksempel vedtaget en bekendtgørelse, der fastlægger retningslinjer for AIDette omfatter retningslinjer for gennemsigtighed, sikkerhed og bekæmpelse af algoritmisk diskrimination. Blandt andet fokuserer det på teknisk træning og institutionel koordinering for at opdage og retsforfølge potentielle krænkelser af menneskerettighederne.

I Den Europæiske Union har forordningen om kunstig intelligens til formål at sikre, at systemer er sikre, gennemsigtige, ikke-diskriminerende og respekterer grundlæggende rettigheder. Forordningen skelner mellem forskellige risikoniveauer og fastslår, at højrisikoalgoritmer ikke kan træffe beslutninger helt autonomt: der skal altid være et menneske, der er i stand til at træffe beslutninger. gribe ind, føre tilsyn med og korrigere systemet.

Desuden kræver den europæiske forordning, at modellerne er forståelige: det skal være muligt at identificere, hvilke karakteristika der påvirker beslutninger, i hvilket omfang og i hvilken kontekst. Dette åbner døren for berørte individer og myndigheder til at stille spørgsmålstegn ved algoritmiske beslutninger som de anser for uretfærdigt, noget der med uigennemsigtige systemer var praktisk talt umuligt.

Uddannelse er imidlertid den tredje essentielle søjle. Det er ikke nok at uddanne udviklere i maskinlæringsteknikker; de skal forstå den sociale indvirkning af deres kreationer, være opmærksomme på, at der findes bias fra starten, og designe med det i tankerne. Ellers, uanset hvor velmenende de måtte være, vil de ende med at kopiere de samme bias. uretfærdigheder, som vi allerede ser uden for skærmen.

Det er også vigtigt, at brugere, ledere, sundhedspersonale, dommere, journalister og den brede offentlighed har en grundlæggende forståelse af, hvordan disse teknologier fungerer, og hvilke risici de indebærer. Først da vil de være i stand til at kræve gennemsigtighed, sætte spørgsmålstegn ved resultater og deltage på en informeret måde i debatten om dem. Hvilken slags kunstig intelligens ønsker vi?.

Teknologiens bias er ikke en isoleret fejl i nogle dårligt designede algoritmer, men den digitale manifestation af vores egne begrænsninger, fordomme og historiske uligheder. Derfor kræver det at håndtere dem en kombination af bedre data, mere retfærdige modeller, reelt menneskeligt tilsyn, solide juridiske rammer og bred uddannelse, der giver os mulighed for at bruge AI som et værktøj til lighed og ikke som et spejl, der forstærker det værste ved vores samfund.