Tehnološke pristranskosti: kako nastanejo, vrste in ključni primeri

Informatec Digital » Viri » Tehnološke pristranskosti: kako nastanejo, vrste in ključni primeri

Živimo obkroženi z algoritmi: priporočajo nam stvari. serije, podelitev kreditov, filtriranje življenjepisov in Prednost dajejo novicam na družbenih omrežjih.Pogosto domnevamo, da so te odločitve, ker prihajajo iz računalnika, bolj objektivne in pravične od tistih, ki jih sprejme oseba. Vendar je resničnost veliko bolj neprijetna: tudi tehnologija ni nevtralna.

Ko računalnik ali sistem umetna inteligenca Vključuje pristranskosti; te napake ne ostanejo v digitalnem svetu: prevedejo se v zanikane priložnosti, manj natančne diagnoze, neenakovreden nadzor ali nepoštene ekonomske odločitveRazumevanje, od kod izvirajo te tehnološke pristranskosti, kako so razvrščene in kakšno škodo povzročajo, je ključnega pomena za razvoj in uporabo resnično odgovorne umetne inteligence.

Kaj so tehnološke pristranskosti in zakaj niso zgolj »tehnične napake«?

V digitalnem svetu govorimo o pristranskosti, ko računalniški sistem obdeluje informacije na način, ki ... neenakomerno, sistematično in predvidljivodajanje prednosti nekaterim skupinam pred drugimi brez legitimne utemeljitve. To niso le osamljene napake, temveč ponavljajoči se vzorci v rezultatih.

Te tehnološke pristranskosti se lahko pojavijo na več ravneh: v podatkih, uporabljenih za učenje modela, v zasnovi algoritma, v načinu označevanja primerov, v metrikah, izbranih za optimizacijo, ali celo v tem, kako ljudje interpretirajo izhode sistema. Navsezadnje so to tehnološke pristranskosti. Odražajo in krepijo človeške pristranskosti, zgodovinske neenakosti in oblikovalske odločitve..

Zelo pogosta napaka je domneva, da računalniki »ne delajo napak«, ker sledijo matematičnim pravilom. Za vsako rešitvijo umetne inteligence stojijo ekipe, ki odločajo Katere podatke uporabiti, katere spremenljivke so pomembne, kako meriti uspeh in katere napake se štejejo za sprejemljive. Če si te ekipe delijo slepe pege ali delajo z nepopolnimi informacijami, so lahko nastali sistemi pomanjkljivi. skrajno nepošteno, čeprav delujejo "tehnično" dobro.

Pristranskost v učnih podatkih: ko težava izvira iz baze podatkov

Sistemi umetne inteligence in strojnega učenja se učijo iz primerov. Če podatkovni niz Če je metoda učenja neuravnotežena, napačno označena ali vsebuje zgodovinske pristranskosti, se bo model teh pristranskih vzorcev naučil, kot da bi bili "normalnost" svetaTukaj izvira velik del težav.

Klasični vir je pristranskost reprezentacije: nekatere skupine se v podatkih pojavljajo v prevelikem številu, druge pa komaj obstajajo. Algoritem za prepoznavanje obrazov Umetna inteligenca, ki je usposobljena predvsem na fotografijah belcev, se bo s to skupino običajno zelo dobro odrezala in naredila veliko več napak s temnopoltimi, azijskimi ali drugimi manjšinskimi posamezniki. Enako velja, če policijski podatki prihajajo predvsem iz rasno razdeljenih sosesk: umetna inteligenca bo tam predvidevala višjo stopnjo kriminala, medtem ko je v resnici preprosto večja zgodovinska prisotnost policije.

Ključnega pomena je tudi način označevanja podatkov. Ko ljudje dodeljujejo kategorije, opise ali ocene, lahko s tem ustvarijo lastne pristranskosti. Orodja za izbor osebja Tisti, ki nekatere profile označujejo kot bolj "veljavne", so se morda izobraževali z oznakami, ki so brez objektivnega razloga izključevale ženske, starejše ljudi ali kandidate z določenih univerz ali držav.

V statistiki govorimo o pristranskosti, kadar vzorec ne predstavlja resnično modelirane populacije. Rezultat je model, ki se zdi, da dobro deluje z učnimi podatki, vendar v resničnem svetu ne deluje dobro. Sistematično daje prednost določenim profilom in kaznuje druge. ki so bili v izvirni bazi podatkov premalo zastopani ali slabo opisani.

Algoritmična pristranskost: oblikovalske odločitve, ki povečujejo neenakost

Tudi pri dobrih podatkih lahko zasnova algoritma povzroči pristranskost. O algoritmični pristranskosti govorimo, kadar se zaradi načina konstrukcije modela ali pravil, ki jih uporablja, pristranskosti ponavljajoče ustvarjajo. nepošteni rezultati, pristranske napake ali nesorazmerni vplivi o določenih skupinah.

Jasen primer se pojavi v modelih, ki uporabljajo na videz nevtralne spremenljivke, kot so poštna številka, raven dohodka ali določeni vzorci potrošnje. Čeprav algoritem neposredno ne "vidi" rase ali spola, lahko te spremenljivke delujejo kot posredniki za občutljive kategorijereproduciranje rasnih, razrednih ali spolnih pristranskosti, ki niso bile eksplicitno kodificirane.

Pristranskosti razvijalcev se lahko prikradejo tudi v programiranje. Če se sistemski oblikovalec zavestno ali nezavedno odloči, da je treba določenim dejavnikom dati večjo težo kot drugim, lahko prenaša lastne pristranskosti. lastno pristransko mnenje o tem, kaj pomeni »zasluga«, »tveganje« ali »normalnost«. Rezultat: kreditni algoritmi ki samodejno kaznujejo posameznike z nizkimi dohodki, ali sisteme priporočil, ki sistematično utišajo določene vsebine ali skupine.

Nacionalni inštitut za standarde in tehnologijo (NIST) poudarja, da zgolj popravljanje tega, kar je vidno na površini (rezultati že usposobljenega modela), pomeni ostati pri vrh ledene goreZa dosledno obravnavo algoritmične pristranskosti je treba pregledati celoten cikel načrtovanja, od oblikovanja problema do metrik, ki se uporabljajo za oceno sprejemljivosti sistema.

Človeške in kognitivne pristranskosti: kako razmišljamo, pronica v tehnologijo

Pristranskosti se ne rodijo v stroju: rodijo se v naših glavah. Ljudje uporabljamo miselne bližnjice, hevristike in vnaprej ustvarjena prepričanja, da se v kompleksnem svetu hitro odločamo. Te bližnjice ustvarjajo kognitivne pristranskosti ki se, ko sodelujemo pri načrtovanju, usposabljanju ali nadzoru sistemov umetne inteligence, na koncu prenesejo v kodo in podatke.

Ena najbolj znanih je potrditvena pristranskost. Nagnjeni smo k iskanju, interpretaciji in zapomnitvi informacij, ki se ujemajo s tem, kar že mislimo, pri čemer ignoriramo ali zmanjšujemo pomen vsega, kar nam nasprotuje. Če razvojna ekipa meni, da je določen vzorec »normalen«, lahko izberite podatke in meritve, ki podpirajo vašo hipotezoizključujoč primere, ki to izpodbijajo. To vpliva tako na izbiro spremenljivk kot na validacijo modela.

Drug klasičen primer je pristranskost sidranja: prvi informaciji, ki jo prejmemo, dajemo preveliko težo. V digitalnih kontekstih lahko zelo visoka začetna cena povzroči, da se vsak poznejši padec cene zdi kot "neustavljiva ponudba", tudi če ni. Nekaj ​​podobnega se zgodi, ko sistem umetne inteligence prikaže začetno priporočilo ali napoved: ta začetni izhod deluje kot sidro za poznejše odločitve od uporabnikov, analitikov ali poslovnih vodij.

V igro pride tudi učinek haloja: osebo, izdelek ali idejo cenimo na podlagi presenetljive značilnosti. V avtomatiziranih izbirnih procesih lahko diploma prestižne univerze algoritem, usposobljen na zgodovinskih podatkih, pripelje do ... sistematično precenjujejo tiste, ki prihajajo iz teh središč in podcenjujejo enako ali bolj usposobljene kandidate iz manj znanih institucij.

Pristranskost zaradi negativnega vpliva pomeni, da namenjamo več pozornosti negativnim informacijam in jim dajemo večjo težo. Pri odkrivanju goljufij ali modelih tveganja se to lahko prevede v algoritme, ki dajejo prednost izogibanju določenim napakam, tako da se te na koncu končajo ustvarja veliko lažno pozitivnih rezultatovkaznovanje nedolžnih ljudi zgolj zato, ker statistično spominjajo na problematične primere iz preteklosti.

Vse te kognitivne pristranskosti so v sistem vnesene na več točkah: pri odločanju, kateri problem rešiti, pri načrtovanju arhitekture, pri ročnem označevanju podatkov, pri izbiri funkcij izgub (ki lahko nekatere napake kaznujejo bolj kot druge) ali pri interpretaciji rezultatov. Zato NIST vztraja, da človeški, družbeni in institucionalni dejavniki So prav tako pomemben vir pristranskosti kot podatki ali algoritmi in so pogosto spregledani.

Sistemske in družbene pristranskosti: ko umetna inteligenca podeduje zgodovino

Poleg statističnih ali kognitivnih napak obstajajo pristranskosti, vgrajene v samo strukturo družbe: rasizem, seksizem, razredna neenakost, diskriminacija določenih starosti ali identitet. Te sistemske pristranskosti ne izvirajo vedno iz zavestni predsodki ne gre za določene posameznike, temveč za norme, prakse in institucije, ki delujejo že desetletja ali stoletja.

Ko zbiramo zgodovinske podatke za učenje sistemov umetne inteligence, to neenako zgodovino zajamemo v obliki številk in digitalnih zapisov. Algoritmi, ki se učijo iz teh podatkov, na koncu reproducirajo tisto, kar je "vedno veljalo": manj žensk na vodstvenih položajih, več aretacij v določenih soseskah, manjši dostop do kreditov za določene skupnosti. Umetna inteligenca namesto popravljanja krivic, To ga krepi z videzom objektivnosti.

Nekateri okviri tukaj razlikujejo med družbeno pristranskostjo in statistično pristranskostjo. Družbena pristranskost se nanaša na predsodke, stereotipe in nagnjenja, ki so vkoreninjena v kulturi. Statistična pristranskost nastane, ko obstaja sistematična razlika med tem, kar podatki ocenjujejo, in resničnost, ki jo domnevno predstavljajoOboje je prepleteno: neuravnoteženi podatki so pogosto numerični odraz že obstoječe družbene neenakosti.

K temu prispevajo tudi institucionalne norme, procesi in prakse v celotnem življenjskem ciklu umetne inteligence. Te segajo od tega, kateri projekti se financirajo in kateri sektorji prejemajo več pozornosti, do tega, kako se sistemi izvajajo v podjetjih in javni upravi. Posledica tega je, da sistemske pristranskosti pronicajo v nabori podatkov, v modelih in načinu njihove uporabe na terenu.

Tipologija NIST: računske, človeške in sistemske pristranskosti

Posebna publikacija NIST 1270 z naslovom »Proti standardu za prepoznavanje in obvladovanje pristranskosti v umetni inteligenci« je postala ključna referenca za razumevanje te teme. Ta dokument opredeljuje tri glavne kategorije pristranskosti v umetni inteligenci: računske ali statistične pristranskosti, človeške pristranskosti in sistemske pristranskosti.

Računalniške pristranskosti so tiste, ki jih je mogoče neposredno izmeriti v delovanju naučenega modela umetne inteligence: razlike v stopnjah napak, rezultatih ali rezultatih, odvisno od populacijske skupine. Vključujejo stvari, kot so ... pristranskost pri izbiri podatkov (kadar učna množica ne predstavlja natančno realnosti) ali algoritmična pristranskost v ožjem pomenu besede (kadar metoda izračuna daje prednost določenim rezultatom).

Človeške pristranskosti zajemajo vse predsodke in sistematične napake v razmišljanju ljudi, vključenih v življenjski cikel umetne inteligence. To vključuje že omenjene kognitivne pristranskosti (pristranskost potrditve, pristranskost sidranja, učinek haloja, pristranskost negativnosti itd.), ki vplivajo na zbiranje podatkov, označevanje, postavljanje ciljev, izbiro metrik in interpretacijo poročil, ki jih ustvari sistem.

Končno se sistemske pristranskosti nanašajo na strukturne neenakosti, ki so zakoreninjene v družbi in njenih institucijah. Te pristranskosti se odražajo v zgodovinskih podatkih, obstoječih predpisih in organizacijske prakse in v ekonomskih spodbudah. ​​Jasen primer je, da če je bilo desetletja zaradi diskriminatornih policijskih praks aretiranih več ljudi iz določene manjšine, bodo dobljeni podatki povzročili, da bo sistem za napovedovanje kriminala vedno znova ciljal na te iste skupnosti.

NIST izpostavlja tudi tri glavne izzive za ublažitev teh pristranskosti: izboljšanje kakovosti in raznolikosti naborov podatkov, razvoj robustnih okvirov za testiranje in vrednotenje, ki vključujejo merila pravičnosti, in neposredno obravnavanje človeški in organizacijski dejavnikivključevanje etike in nadzora v celoten proces.

Pristranskost avtomatizacije: preveliko zanašanje na stroj

Poleg že omenjenih pristranskosti so se evropski predpisi osredotočili na vse pogostejši pojav: pristranskost avtomatizacije. Uredba EU o umetni inteligenci v členu 14.4(b) opozarja na tveganje, da bi ljudje lahko bili nagnjeni k samodejno ali pretirano zanašanje v rezultatih, ki jih ustvari sistem umetne inteligence, tudi če so ti napačni ali pristranski.

Ta pristranskost avtomatizacije je tesno povezana s pristranskostjo potrditve in pristranskostjo sidranja. Če slepo zaupamo izhodu sistema, je večja verjetnost, da bomo iskali informacije, ki potrjujejo, kar je povedal stroj, in ta odgovor vzeli kot začetno referenčno točko za vse ostalo. Predlogi umetne inteligence postanejo "Resnica po privzetku" ki pogojuje človeško presojo.

Zato evropski predpisi vztrajajo pri potrebi, da človek vedno nadzoruje sisteme z visokim tveganjem (na primer tiste, ki vplivajo na temeljne pravice). Ne gre za to, da bi človek na koncu pritisnil gumb, ampak za to, da se zagotovi, da lahko ... zagotovite kontekst, podvomite o avtomatski odločitvi in ​​jo razveljavite ko ugotovi, da ne ustreza realnosti konkretnega primera.

Primeri tehnoloških pristranskosti in njihovih posledic iz resničnega sveta

Ko se tehnološke pristranskosti uresničijo v sistemih resničnega sveta, je škoda zelo konkretna. Organizacije vseh vrst so utrpele posledice zaradi izgube ugleda in pravnih posledic, ker teh situacij niso predvidele, medtem ko lahko prizadeti posamezniki niti ne vem da je algoritem sprejel nepošteno odločitev.

V zdravstvu je premajhna zastopanost žensk ali manjšin v kliničnih podatkih privedla do tega, da nekateri diagnostični algoritmi ponujajo manj natančni rezultati za določene skupineUgotovljeno je bilo, da računalniško podprti diagnostični podporni sistemi slabše delujejo pri afroameriških pacientih kot pri belih pacientih, kar ohranja obstoječe neenakosti v zdravstvu.

Na delovnem mestu je moralo veliko tehnološko podjetje opustiti sistem zaposlovanja, ki temelji na umetni inteligenci, ko je odkrilo, da sistematično kaznuje ženske. Algoritem se je učil iz zgodovine pretežno moškega zaposlovanja, kar ga je pripeljalo do tega, da življenjepisi, podobni življenjepisom moških ki so že bili zaposleni in so že negativno filtrirali znake ženskega spola.

Drug primer so sistemi za klasifikacijo tveganja v kazenskem pravosodju, kot je COMPAS v Združenih državah Amerike, ki so bili obtoženi, da so temnopoltim osebam v primerljivih situacijah dodelili višje stopnje tveganja za ponovitev kaznivih dejanj kot belcem. Čeprav so ponudniki zagovarjali svojo tehnologijo, je [težava] bila izpostavljena z več neodvisnimi analizami. vzorci rasne neenakosti.

V svetu računalniškega vida so orodja za samodejno označevanje slik šla celo tako daleč, da so fotografije temnopoltih ljudi razvrščala z zelo žaljivimi izrazi, kar je poudarilo tako pomanjkanje raznolikosti podatkov kot tudi odsotnost nadzora kakovosti in kulturne občutljivosti. Študije z generatorji slik, kot je Stable Diffusion ali podobna orodja, so pokazale, da so se pri zahtevah za fotografije določenih poklicev te večinoma pojavljale belci kot menedžerjimedtem ko so bile ženske in ljudje s temno poltjo povezani z manj cenjenimi službami ali celo kriminalnimi vlogami.

V kreditih in financah lahko modeli, ki kot ključne spremenljivke uporabljajo bančno zgodovino, poštno številko ali določene vzorce porabe, vodijo do posredne diskriminacije. Popolnoma kreditno sposobnim posameznikom se lahko zavrnejo vloge za posojilo, ker sistem na podlagi zgodovinskih podatkov meni, da so tisti, ki živijo v določenih soseskah ali imajo določen socialno-ekonomski profil, nezaželeni. "Večje tveganje"čeprav individualna analiza pove drugačno zgodbo.

Na področju nadzora in varnosti so bila orodja za napovedno policijsko delo, ki uporabljajo zgodovinske podatke o aretacijah, kritizirana zaradi krepitve pretiranega policijskega nadzora v določenih skupnostih. Če je bilo območje zaradi rasnih ali razrednih razlogov več let bolj patruljirano, bodo podatki pokazali več incidentov tam, algoritem pa bo priporočil ...
vedno znova se vračajo in ustvarjajo povratna zanka ki legitimizira diskriminatorne prakse.

Od kod izvirajo računalniške pristranskosti v tehnološkem ciklu?

Če pogledamo celoten cikel tehnološkega razvoja, se lahko pristranskosti pojavijo praktično v kateri koli fazi. Pri zbiranju podatkov uporaba neuravnoteženih zgodovinskih virov ali sistematično izključevanje določenih populacij že seje seme problema. Pri načrtovanju algoritmov izbira spremenljivk, arhitektur in optimizacijskih ciljev vpliva na rezultat. kakšne napake Bolj bodo tolerirani.

Med fazo učenja postane resnično pomembno znano načelo GIGO (Garbage In, Garbage Out): če modelu daste podatke o smeteh, ne glede na to, kako dovršen je algoritem, bo rezultat še vedno smeti ... vendar zavit v tehnični jezik in bleščeče metrike. Popačenje podatkov lahko povzroči slabo delovanje modela. zapomni si vzorce večine in v manjšini klavrno propadejo.

Če se med validacijo merijo le globalne metrike natančnosti, ne da bi jih razčlenili po podskupinah (spol, starost, etnična pripadnost, regija itd.), lahko zelo nepošten model opravi preverjanja, ker se zdi, da "v povprečju" deluje brezhibno. To se še poslabša, če je razvojna ekipa preveč homogena in Ne postavlja določenih vprašanj ker niso del njihovih življenjskih izkušenj.

Med fazo uvajanja se pojavijo tudi učinki povratne zanke: pristranski sistem lahko vpliva na vedenje uporabnikov in ustvari nove podatke, ki krepijo iste vzorce. Če na primer priporočilni mehanizem prikazuje le določene vrste vsebine določenim uporabniškim profilom, se bo sčasoma zdelo, da ti uporabniki uživajo le to vrsto vsebine, ker Do ostalega niso imeli dostopa.

Končno, pri interpretaciji rezultatov lahko pristranskost avtomatizacije in pomanjkanje razložljivosti povzročita, da poslovni menedžerji, zdravniki, sodniki ali kadrovniki brez dvoma sprejmejo, kar pravi stroj, tudi če je to v nasprotju z njim. kvalitativni dokazi ki jih imajo spredaj

Kako zmanjšati pristranskost v tehnologiji in umetni inteligenci

Ni čarobnega zdravila, ki bi popolnoma odpravilo pristranskost, obstaja pa niz praks, ki jo lahko znatno zmanjšajo. Prva je diverzifikacija podatkov: zagotovite, da učni nabori vključujejo zadostna zastopanost vseh ustreznih skupin, redno pregledovati neravnovesja in jih odpravljati z uporabo statističnih in vzorčnih tehnik.

Vzporedno s tem je ključnega pomena imeti raznolike razvojne ekipe. Raznolikost spolov, kulturnega ozadja, discipline in življenjskih izkušenj pomaga prepoznati težave, ki bi jih homogena skupina verjetno spregledala. Algoritmična pravičnost ni le stvar matematike; gre za stvar socialno in organizacijsko oblikovanje.

Vse pogostejši postajajo tudi pregledi algoritmov in testi pravičnosti. Preden sistem uvedemo v produkcijo, je priporočljivo oceniti, kako deluje z različnimi podskupinami, katere vrste napak dela in kdo je najbolj prizadet. Te preglede je treba periodično in preglednone zgolj formalnost na začetku projekta.

Ključno vlogo igrata tudi razložljivost (razložljiva umetna inteligenca, XAI). Bolj ko je uporabnikom in regulatorjem razumljivo, kako in zakaj sistem sprejema svoje odločitve, lažje je odkriti skrite pristranskosti in jih odpraviti. To vključuje jasno dokumentiranje izvora podatkov, omejitev modela in situacij, v katerih se ne sme uporabljati.

Končno, predpisi in etika zagotavljajo okvir, ki nas sili, da vse to jemljemo resno. Pobude, kot so FATML (pravičnost, odgovornost, preglednost pri strojnem učenju), načela podatkov FAIR (najdljivost, dostopnost, interoperabilnost, ponovno uporabnost) ter predpisi EU in ZDA kažejo na model, v katerem mora biti umetna inteligenca pošteno, odgovorno in preverljivoše posebej, če to vpliva na temeljne pravice.

Izobraževanje in regulacija: drugi stebri za boj proti pristranskosti

Razvoj odgovornih tehnologij ni odvisen le od inženirjev in podjetij; zahteva tudi pravne okvire in obveščeno državljanstvo. V Združenih državah Amerike je bil na primer sprejet izvršni odlok, ki določa smernice za umetno inteligencoTo vključuje smernice o preglednosti, varnosti in boju proti algoritemski diskriminaciji. Med drugim se osredotoča na tehnično usposabljanje in institucionalno usklajevanje za odkrivanje in pregon morebitnih kršitev človekovih pravic.

V Evropski uniji si uredba o umetni inteligenci prizadeva zagotoviti, da so sistemi varni, pregledni, nediskriminatorni in spoštujejo temeljne pravice. Uredba razlikuje med različnimi stopnjami tveganja in določa, da algoritmi z visokim tveganjem ne morejo sprejemati odločitev povsem avtonomno: vedno mora biti prisoten človek, ki je sposoben sprejemati odločitve. posredovati, nadzorovati in popravljati sistem.

Poleg tega evropska uredba zahteva, da so modeli razumljivi: mogoče mora biti ugotoviti, katere značilnosti vplivajo na odločitve, v kolikšni meri in v kakšnem kontekstu. To odpira vrata prizadetim posameznikom in organom, da podvomiti v algoritmične odločitve kar se jim zdi nepošteno, kar je bilo z nepreglednimi sistemi praktično nemogoče.

Izobraževanje pa je tretji bistveni steber. Ni dovolj, da razvijalce usposobimo za tehnike strojnega učenja; razumeti morajo družbeni vpliv svojih stvaritev, se zavedati, da pristranskosti obstajajo že od samega začetka, in načrtovati s tem v mislih. Sicer bodo, ne glede na to, kako dobronamerni so, na koncu ponavljali iste pristranskosti. krivice, ki jih že vidimo zunaj zaslona.

Pomembno je tudi, da imajo uporabniki, menedžerji, zdravstveni delavci, sodniki, novinarji in širša javnost osnovno razumevanje delovanja teh tehnologij in tveganj, ki jih prinašajo. Šele takrat bodo lahko zahtevali preglednost, podvomili o rezultatih in se informirano udeleževali razprave o njih. Kakšno umetno inteligenco si želimo?.

Pristranskosti tehnologije niso osamljena napaka nekaterih slabo zasnovanih algoritmov, temveč digitalna manifestacija naših lastnih omejitev, predsodkov in zgodovinskih neenakosti; zato njihovo odpravljanje zahteva kombinacijo boljših podatkov, pravičnejših modelov, resničnega človeškega nadzora, trdnih pravnih okvirov in široke izobrazbe, ki nam omogoča, da umetno inteligenco uporabljamo kot orodje za enakost in ne kot ogledalo, ki povečuje najslabše v naši družbi.

Povezani članek:

10 ključnih zaključkov: Kaj je upravljanje podatkov in zakaj je ključnega pomena?