Технологични пристрастия: как възникват, видове и ключови примери

Информатек Дигитал » Ресурси » Технологични пристрастия: как възникват, видове и ключови примери

Живеем заобиколени от алгоритми: те ни препоръчват неща. поредица, отпускане на кредити, филтриране на автобиографии и Те дават приоритет на новините в социалните медии.Често приемаме, че тъй като идват от компютър, тези решения са по-обективни и справедливи от тези, взети от човек. Но реалността е много по-неудобна: технологиите също не са неутрални.

Когато компютър или система изкуствен интелект Това включва предубеждения; тези грешки не остават в дигиталния свят: те се превръщат в отказани възможности, по-неточни диагнози, неравностойно наблюдение или несправедливи икономически решенияРазбирането откъде идват тези технологични пристрастия, как се класифицират и каква вреда причиняват е ключово за разработването и използването на наистина отговорен изкуствен интелект.

Какво представляват технологичните отклонения и защо те не са просто „технически проблеми“?

В дигиталната сфера говорим за пристрастност, когато компютърна система обработва информация по начин, който... неравномерно, систематично и предвидимофаворизиране на едни групи пред други без основателно основание. Това не са просто изолирани грешки, а повтарящи се модели в резултатите.

Тези технологични отклонения могат да се проявят на много нива: в данните, използвани за обучение на модел, в дизайна на алгоритъма, в начина, по който са обозначени примерите, в избраните показатели за оптимизация или дори в начина, по който хората интерпретират резултатите от системата. В крайна сметка това са технологични отклонения. Те отразяват и усилват човешките предразсъдъци, историческите неравенства и дизайнерските решения.

Много често срещана грешка е допускането, че компютрите „не правят грешки“, защото следват математически правила. Зад всяко решение с изкуствен интелект стоят... отбори, които решават Какви данни да се използват, кои променливи са важни, как да се измерва успехът и кои грешки се считат за приемливи. Ако тези екипи споделят слепи петна или работят с непълна информация, получените системи могат да бъдат погрешни. крайно несправедливи, въпреки че работят „технически“ добре.

Отклонение в данните за обучение: когато проблемът произхожда от базата данни

Системите за изкуствен интелект и машинно обучение се учат от примери. Ако набор от данни Ако методът на обучение е небалансиран, неправилно етикетиран или носи исторически предубеждения, моделът ще научи тези предубедени модели, сякаш те са... „нормалността“ на светаОттук произлиза голяма част от проблема.

Класически източник е пристрастието в представянето: някои групи се появяват в излишък, а други едва съществуват в данните. Алгоритъм за разпознаване на лица Обучен предимно върху снимки на бели хора, изкуственият интелект ще се представя много добре с тази група и ще допуска много повече грешки с чернокожи, азиатци или други малцинствени лица. Същото важи и ако полицейските данни идват предимно от расово дефинирани квартали: изкуственият интелект ще предположи, че там нивата на престъпност са по-високи, когато в действителност просто има по-голямо историческо полицейско присъствие.

Начинът, по който данните са етикетирани, също има решаващо значение. Когато хората присвояват категории, описания или оценки, те могат да въведат свои собствени предубеждения. Инструменти за подбор на персонал Тези, които маркират определени профили като по-„валидни“, може да са били обучени с етикети, които изключват, без обективна причина, жени, възрастни хора или кандидати от определени университети или държави.

В статистиката говорим за отклонение, когато извадката не представлява вярно моделираната популация. Резултатът е модел, който изглежда работи добре с данни за обучение, но не се представя добре в реалния свят. Систематично облагодетелства определени профили и наказва други. които са били недостатъчно представени или лошо описани в оригиналната база данни.

Алгоритмично отклонение: дизайнерски решения, които усилват неравенството

Дори при добри данни, дизайнът на алгоритъма може да доведе до отклонения. Говорим за алгоритмично отклонение, когато поради начина, по който е конструиран моделът, или правилата, които прилага, отклоненията се генерират многократно. несправедливи резултати, предубедени грешки или непропорционални въздействия относно определени групи.

Ясен пример се появява в модели, които използват привидно неутрални променливи, като пощенски код, ниво на доходи или определени модели на потребление. Въпреки че алгоритъмът не „вижда“ директно раса или пол, тези променливи могат да действат като заместители за чувствителни категориивъзпроизвеждане на расови, класови или полови предразсъдъци, които не са били изрично кодифицирани.

Предубежденията на разработчиците също могат да се промъкнат в програмирането. Ако системният дизайнер реши, съзнателно или несъзнателно, че на определени фактори трябва да се даде по-голяма тежест от други, той може да прехвърля собствените си предубеждения. собствено предубедено виждане за това какво представлява „достойнство“, „риск“ или „нормалност“. Резултатът: кредитни алгоритми които автоматично наказват лица с ниски доходи, или системи за препоръки, които систематично заглушават определено съдържание или групи.

Националният институт за стандарти и технологии (NIST) подчертава, че простото коригиране на това, което се вижда на повърхността (резултатите от вече обучения модел), означава да се запази настоящото състояние. върхът на айсбергаЗа да се адресира стриктно алгоритмичното отклонение, целият цикъл на проектиране трябва да бъде прегледан, от формулирането на проблема до показателите, използвани за оценка на приемливостта на системата.

Човешки и когнитивни предубеждения: как мислим, прониква в технологиите

Предразсъдъците не се раждат в машината: те се раждат в съзнанието ни. Ние, хората, използваме ментални преки пътища, евристики и предубеждения, за да вземаме бързи решения в един сложен свят. Тези преки пътища водят до... когнитивни пристрастия които, когато участваме в проектирането, обучението или надзора на системи с изкуствен интелект, в крайна сметка се прехвърлят върху кода и данните.

Едно от най-известните е пристрастието към потвърждение. Склонни сме да търсим, интерпретираме и запомняме информация, която съответства на това, което вече мислим, игнорирайки или минимизирайки всичко, което ни противоречи. Ако екипът за разработка смята, че определен модел е „нормален“, той може да... изберете данни и показатели, които подкрепят вашата хипотезаизключвайки случаи, които го оспорват. Това засяга както избора на променливи, така и валидирането на модела.

Друг класически пример е пристрастието към закотвяне: ние даваме прекомерна тежест на първата информация, която получаваме. В дигитален контекст, много високата начална цена може да накара всяко последващо понижение на цената да изглежда като „неустоима оферта“, дори и да не е. Нещо подобно се случва, когато система с изкуствен интелект показва първоначална препоръка или прогноза: този първоначален резултат действа като опора за последващи решения от потребители, анализатори или бизнес мениджъри.

Ефектът на ореола също играе роля: ние ценим човек, продукт или идея въз основа на поразителна характеристика. В автоматизираните процеси на подбор, диплома от престижен университет може да доведе до това алгоритъм, обучен върху исторически данни, да... систематично надценяват тези, които идват от тези центрове и подценяват еднакво или по-квалифицирани кандидати от по-малко известни институции.

Пристрастието към негативизъм означава, че обръщаме повече внимание и даваме по-голяма тежест на негативната информация. В моделите за откриване на измами или риск това може да се превърне в алгоритми, които дават приоритет на избягването на определени грешки до такава степен, че те в крайна сметка... генериране на много фалшиви положителни резултатинаказване на невинни хора, само защото статистически приличат на проблемни случаи от миналото.

Всички тези когнитивни отклонения се въвеждат в системата на множество места: при решаването на проблема, при проектирането на архитектурата, при ръчното етикетиране на данни, при избора на функции за загуба (които могат да санкционират някои грешки повече от други) или при интерпретирането на резултатите. Ето защо NIST настоява, че човешки, социални и институционални фактори Те са също толкова важен източник на пристрастия, колкото данните или алгоритмите, и често се пренебрегват.

Системни и социални предразсъдъци: когато изкуственият интелект наследява историята

Отвъд статистическите или когнитивните грешки, съществуват предразсъдъци, вградени в самата структура на обществото: расизъм, сексизъм, класово неравенство, дискриминация срещу определени възрасти или идентичности. Тези системни предразсъдъци не винаги произтичат от съзнателни предразсъдъци не на конкретни индивиди, а на норми, практики и институции, които са функционирали в продължение на десетилетия или векове.

Когато събираме исторически данни, за да обучаваме системи с изкуствен интелект, това, което правим, е да капсулираме тази неравностойна история под формата на числа и цифрови записи. Алгоритмите, които се учат от тези данни, в крайна сметка възпроизвеждат това, което „винаги е било така“: по-малко жени на ръководни позиции, повече арести в определени квартали, по-малък достъп до кредити за определени общности. Изкуственият интелект, вместо да поправя несправедливостта, Подсилва го с привидност на обективност.

Някои рамки разграничават социалното отклонение от статистическото отклонение. Социалното отклонение се отнася до предразсъдъци, стереотипи и наклонности, вкоренени в дадена култура. Статистическото отклонение възниква, когато има систематична разлика между това, което данните оценяват, и реалността, която те уж представляватИ двете са взаимосвързани: небалансираните данни често са числено отражение на вече съществуващо социално неравенство.

Институционалните норми, процеси и практики през целия жизнен цикъл на изкуствения интелект също допринасят. Те варират от това кои проекти се финансират и кои сектори получават повече внимание, до това как системите се внедряват в бизнеса и публичната администрация. Резултатът е, че системните предубеждения проникват в... наборите от данни, в моделите и в начина, по който се използват на терена.

Типологията на NIST: изчислителни, човешки и системни отклонения

Специалната публикация на NIST 1270, „Към стандарт за идентифициране и управление на пристрастия в изкуствения интелект“, се превърна в ключов справочник за разбирането на тази тема. Този документ идентифицира три основни категории пристрастия в ИИ: изчислителни или статистически отклонения, човешки отклонения и системни отклонения.

Изчислителните отклонения са тези, които могат да бъдат директно измерени в производителността на обучен модел с изкуствен интелект: разлики в процентите на грешки, резултатите или резултатите в зависимост от групата от населението. Те включват неща като... пристрастност при избора на данни (когато обучителният набор не представя точно реалността) или алгоритмично отклонение в тесен смисъл (когато методът на изчисление благоприятства определени резултати).

Човешките предразсъдъци обхващат всички предразсъдъци и систематични грешки в мисленето на хората, участващи в жизнения цикъл на изкуствения интелект. Това включва вече обсъдените когнитивни предразсъдъци (пристрастие към потвърждение, пристрастие към закотвяне, ефект на ореола, пристрастие към негативизъм и др.), които влияят върху събирането на данни, етикетирането, поставянето на цели, избора на показатели и интерпретацията на отчетите, генерирани от системата.

Накрая, системните предразсъдъци се отнасят до структурни неравенства, вкоренени в обществото и неговите институции. Тези предразсъдъци са отразени в исторически данни, съществуващи разпоредби и организационни практики и в икономическите стимули. Ясен пример е, че ако в продължение на десетилетия повече хора от определено малцинство са били арестувани поради дискриминационни полицейски практики, получените данни ще накарат система за прогнозиране на престъпления многократно да се насочва към същите тези общности.

NIST също така подчертава три основни предизвикателства пред смекчаването на тези пристрастия: подобряване на качеството и разнообразието на наборите от данни, разработване на надеждни рамки за тестване и оценка, които включват критерии за справедливост, и пряко справяне с човешки и организационни факториинтегриране на етиката и надзора през целия процес.

Пристрастие към автоматизацията: твърде много разчитане на машината

В допълнение към вече споменатите пристрастия, европейските разпоредби се фокусират върху все по-често срещано явление: пристрастия към автоматизацията. Регламентът на ЕС за изкуствения интелект, в член 14.4(б), посочва риска хората да са склонни да разчитайки автоматично или прекомерно в резултатите, генерирани от система с изкуствен интелект, дори ако те са погрешни или предубедени.

Тази пристрастност към автоматизация е тясно свързана с пристрастността към потвърждение и пристрастността към закотвяне. Ако сляпо се доверяваме на изхода на системата, е по-вероятно да търсим информация, която потвърждава казаното от машината, и да приемаме този отговор като начална отправна точка за всичко останало. Предложенията на ИИ се превръщат в „истина по подразбиране“ което обуславя човешката преценка.

Ето защо европейските разпоредби настояват за необходимостта човек винаги да контролира системите с висок риск (например тези, които засягат основните права). Не става въпрос за това човек да натисне бутон накрая, а за това да се гарантира, че той може... предоставя контекст, поставя под въпрос автоматичното решение и го отменя когато установи, че не съответства на реалността на конкретния случай.

Примери от реалния свят за технологични пристрастия и техните последици

Когато технологичните пристрастия се материализират в реални системи, щетите са много конкретни. Организации от всякакъв вид са понесли репутационни и правни удари, защото не са предвидили тези ситуации, докато засегнатите лица могат дори не знам че алгоритъм е взел несправедливо решение.

В здравеопазването, недостатъчното представителство на жените или малцинствата в клиничните данни е довело до това някои диагностични алгоритми да предложат... по-малко точни резултати за определени групиНаблюдавано е, че компютърно подпомаганите диагностични системи се представят по-зле при афроамерикански пациенти, отколкото при бели пациенти, което затвърждава съществуващите неравенства в здравеопазването.

На работното място голяма технологична компания трябваше да се откаже от система за набиране на персонал, базирана на изкуствен интелект, когато откри, че тя систематично наказва жените. Алгоритъмът се беше поучил от историята на предимно мъжко наемане, което го доведе до... автобиографиите на фаворитите са подобни на тези на мъжете които вече бяха в персонала и вече филтрираха негативно признаците на женски пол.

Друг пример са системите за класификация на риска в наказателното правосъдие, като например COMPAS в Съединените щати, които бяха обвинени, че приписват по-високи нива на риск от рецидив на чернокожите, отколкото на белите хора в сравними ситуации. Въпреки че доставчиците защитиха своята технология, няколко независими анализа подчертаха [проблема]. модели на расово неравенство.

В света на компютърното зрение, инструментите за автоматично етикетиране на изображения са стигнали дотам, че са класифицирали снимки на чернокожи хора с изключително обидни термини, подчертавайки както липсата на разнообразие от данни, така и липсата на контрол на качеството и културна чувствителност. Проучвания с генератори на изображения като Stable Diffusion или подобни инструменти показват, че когато са били поискани снимки на конкретни професии, те най-често са се появявали бели мъже като мениджъридокато жените и хората с тъмна кожа са били свързвани с по-ниско ценени работни места или дори криминални роли.

В кредитирането и финансите моделите, които използват банкова история, пощенски код или определени модели на харчене като ключови променливи, могат да доведат до непряка дискриминация. Напълно кредитоспособните лица могат да получат отказ за заем, защото системата, въз основа на исторически данни, счита, че тези, които живеят в определени квартали или имат определен социално-икономически профил, са нежелани. „по-голям риск“въпреки че индивидуалният анализ разказва различна история.

В областта на наблюдението и сигурността, инструментите за прогнозиране на полицейската дейност, които използват исторически данни за арести, са критикувани за засилване на свръхполицейския контрол в определени общности. Ако даден район е бил патрулиран по-интензивно в продължение на години поради расови или класови причини, данните ще покажат повече инциденти там и алгоритъмът ще препоръча...
връщат се отново и отново, създавайки обратна връзка което легитимира дискриминационните практики.

Откъде произлизат компютърните отклонения в технологичния цикъл?

Разглеждайки целия цикъл на технологично развитие, отклоненията могат да се появят на практика на всеки етап. При събирането на данни, използването на небалансирани исторически източници или систематичното изключване на определени популации вече посява семената на проблема. При проектирането на алгоритми, изборът на променливи, архитектури и цели за оптимизация влияе върху резултата. какви грешки Те ще бъдат толерирани повече.

По време на фазата на обучение, известният принцип GIGO (Garbage In, Garbage Out - боклук на входа, боклук на изхода) става наистина актуален: ако подадете на модела „боклук“ данни, независимо колко сложен е алгоритъмът, резултатът пак ще бъде „боклук“... но обвит в технически език и лъскави показатели. Изкривяването на данните може да доведе до лошо представяне на модела. запомняне на моделите на мнозинството и се провалят с гръм и трясък в малцинството.

По време на валидирането, ако се измерват само глобални показатели за точност, без да се разделят по подгрупи (пол, възраст, етническа принадлежност, регион и др.), един силно несправедлив модел може да премине проверките, защото „средно“ изглежда работи перфектно. Това се изостря, ако екипът за разработка е твърде хомогенен и Не задава определени въпроси защото не са част от техния житейски опит.

По време на фазата на внедряване се появяват и ефекти от обратната връзка: предубедената система може да повлияе на поведението на потребителите и да генерира нови данни, които подсилват същите модели. Например, ако дадена система за препоръки показва само определени видове съдържание на конкретни потребителски профили, с течение на времето ще изглежда, че тези потребители консумират само този тип съдържание, защото Те не са имали достъп до останалото.

Накрая, при интерпретацията на резултатите, пристрастията към автоматизацията и липсата на обяснимост могат да накарат бизнес мениджъри, лекари, съдии или специалисти по подбор на персонал да приемат безрезервно това, което машината казва, дори когато то противоречи. качествени доказателства които имат отпред

Как да се намали пристрастието в технологиите и изкуствения интелект

Няма магическо средство, което да елиминира напълно пристрастията, но има набор от практики, които могат значително да ги намалят. Първото е да се диверсифицират данните: уверете се, че обучителните набори включват достатъчно представителство на всички съответни групи, периодично да преглеждат дисбалансите и да ги коригират, използвайки статистически и извадкови техники.

Успоредно с това е изключително важно да има разнообразни екипи за разработка. Разнообразието по пол, културен произход, дисциплина и житейски опит помага да се идентифицират проблеми, които една хомогенна група вероятно би пренебрегнала. Алгоритмичната справедливост не е просто въпрос на математика; тя е въпрос на социален и организационен дизайн.

Одитите на алгоритми и тестовете за справедливост също стават все по-често срещани. Преди внедряването на система в производствена среда е препоръчително да се оцени как тя се представя с различни подгрупи, какви видове грешки допуска и кой е най-засегнат. Тези одити трябва да бъдат периодични и прозрачнине е просто формалност в началото на проекта.

Обяснимостта (Explainable AI, XAI) и прозрачността също играят ключова роля. Колкото по-разбираемо е за потребителите и регулаторните органи как и защо една система взема своите решения, толкова по-лесно е да се открият скрити отклонения и да се коригират. Това включва ясно документиране на произхода на данните, ограниченията на модела и ситуациите, в които не трябва да се използва.

И накрая, регулациите и етиката осигуряват рамката, която ни задължава да приемаме всичко това сериозно. Инициативи като FATML (Справедливост, Отговорност, Прозрачност в машинното обучение), принципите за данни FAIR (Намируеми, Достъпни, Взаимодействащи, Многократно използваеми) и регулациите на ЕС и САЩ сочат към модел, в който ИИ трябва да бъде справедливо, отговорно и проверимоособено когато това засяга основни права.

Образование и регулиране: другите стълбове за борба с предразсъдъците

Разработването на отговорни технологии зависи не само от инженерите и компаниите; то изисква и правни рамки и информирано гражданство. В Съединените щати например е приета изпълнителна заповед, която установява насоки за ИИТова включва насоки за прозрачност, сигурност и борба с алгоритмичната дискриминация. Наред с други неща, то се фокусира върху техническото обучение и институционалната координация за откриване и наказателно преследване на потенциални нарушения на правата на човека.

В Европейския съюз Регламентът за изкуствения интелект има за цел да гарантира, че системите са безопасни, прозрачни, недискриминационни и зачитат основните права. Регламентът разграничава различните нива на риск и установява, че алгоритмите с висок риск не могат да вземат решения изцяло автономно: винаги трябва да има човешко същество, способно да взема решения. намесва се, контролира и коригира системата.

Освен това, Европейският регламент изисква моделите да бъдат разбираеми: трябва да е възможно да се определи кои характеристики влияят върху решенията, до каква степен и в какъв контекст. Това отваря вратата за засегнатите лица и органи да поставяне под въпрос на алгоритмични решения което те смятат за несправедливо, нещо, което с непрозрачните системи беше практически невъзможно.

Образованието обаче е третият основен стълб. Не е достатъчно разработчиците да бъдат обучени в техники за машинно обучение; те трябва да разбират социалното въздействие на своите творения, да са наясно, че от самото начало съществуват предубеждения, и да проектират с това предвид. В противен случай, колкото и добронамерени да са, те ще се окажат отговорни за същите предубеждения. несправедливости, които вече виждаме извън екрана.

Важно е също така потребителите, мениджърите, здравните специалисти, съдиите, журналистите и широката общественост да имат основно разбиране за това как работят тези технологии и какви рискове крият. Само тогава те ще могат да изискват прозрачност, да поставят под въпрос резултатите и да участват информирано в дебата за тях. Какъв вид изкуствен интелект искаме?.

Предразсъдъците на технологиите не са изолиран провал на някои лошо проектирани алгоритми, а дигитално проявление на нашите собствени ограничения, предразсъдъци и исторически неравенства; следователно, справянето с тях изисква комбинация от по-добри данни, по-справедливи модели, реален човешки надзор, солидни правни рамки и широко образование, което ни позволява да използваме ИИ като инструмент за равенство, а не като огледало, което усилва най-лошото в нашето общество.