- 技術偏誤源自於不平衡的數據、不透明的演算法決策以及滲透到人工智慧整個生命週期的人類偏見。
- 美國國家標準與技術研究院 (NIST) 區分了計算偏見、人為偏見和系統性偏見,這些偏見在不平等的社會環境中相互作用、相互強化。
- 醫療保健、司法、就業和信貸等領域的現實案例表明,存在著切實的危害,並強調了審計、問責制和人工監督的必要性。
- 監管、教育和多元化的團隊是設計和部署更公平、更負責任的技術的重要支柱。
我們生活在演算法的包圍之中:它們推薦電視劇、發放貸款、篩選履歷,並在社群媒體上優先推播新聞。我們常認為,既然這些決定出自電腦之手,就比人為決策更客觀公正。但事實遠比這令人不安:技術也並非中立。
當電腦或人工智慧系統引入偏見時,這些錯誤並不會局限於數位世界:它們會導致錯失良機、診斷不準確、監控不公或經濟決策不公。了解這些技術偏見的來源、分類方式以及造成的危害,是開發和使用真正負責任的人工智慧的關鍵。
什麼是技術偏見?為什麼它們不只是「技術故障」?
在數位領域,當電腦系統以不均衡、系統化且可預測的方式處理訊息,並在沒有正當理由的情況下偏袒某些群體時,我們就稱之為偏見。這不僅僅是個別錯誤,而是結果中反覆出現的模式。
這些技術偏見可能出現在許多層面:用於訓練模型的資料、演算法的設計、樣本的標註方式、最佳化指標的選擇,甚至人類對系統輸出的解讀。歸根結底,技術偏見反映並放大了人類的偏見、歷史遺留的不平等以及設計選擇。
一個非常常見的錯誤是認為計算機“不會犯錯”,因為它們遵循數學規則。任何人工智慧解決方案背後都有團隊負責決定使用哪些數據、哪些變數重要、如何衡量成功以及哪些誤差可以接受。如果這些團隊有盲點或資訊不完整,即使系統在「技術」上運作良好,最終產生的系統也可能存在嚴重的不公平之處。
訓練資料偏差:當問題源自於資料庫時
人工智慧和機器學習系統透過學習實例來獲取資訊。如果訓練資料集不平衡、標註不準確或存在歷史偏見,模型就會將這些有偏見的模式學習為世界的「正常」狀態。這正是許多問題的根源。
這種偏見的典型來源是代表性誤差:某些群體在數據中過度代表,而其他群體則幾乎不存在。一個主要基於白人照片訓練的人臉辨識演算法,往往對白人群體表現出色,但在識別黑人、亞裔或其他少數族裔時則容易出錯。如果警方資料主要來自種族聚居區,情況也是如此:人工智慧會假定這些地區的犯罪率更高,而實際上,這些地區只是歷史上警力部署更為密集而已。
數據標籤的標註方式也至關重要。當人為地賦予類別、描述或評分時,他們可能會引入自身的偏見。招募工具會將某些個人資料標記為更“合格”,而這些工具可能在訓練過程中使用了某些標籤,這些標籤在沒有客觀理由的情況下排除了女性、老年人或來自特定大學或國家的候選人。
在統計學中,當樣本不能真正代表其所要模擬的總體時,我們就稱之為偏差。結果是,模型在訓練資料中似乎表現良好,但在現實世界中卻系統性地偏袒某些特定人群,而對那些在原始資料庫中代表性不足或描述不清的人群則予以懲罰。
演算法偏誤:加劇不平等的設計決策
即使擁有良好的數據,演算法的設計也可能引入偏差。當由於模型的建構方式或其應用的規則,反覆產生不公平的結果、有偏差的錯誤或對某些群體造成不成比例的影響時,我們就稱之為演算法偏差。
一個明顯的例子出現在使用看似中性變數的模型中,例如郵遞區號、收入水準或某些消費模式。儘管演算法無法直接「識別」種族或性別,但這些變數可以作為敏感類別的替代指標,從而再現那些未被明確編碼的種族、階級或性別偏見。
開發者的偏見也會悄悄滲入程式設計。如果系統設計者有意或無意地決定某些因素的權重高於其他因素,他們可能就會將自身對「價值」、「風險」或「正常」的偏見理解強加於系統之上。結果可能是:信用演算法自動懲罰低收入者,或推薦系統系統性地屏蔽某些內容或群體。
美國國家標準與技術研究院 (NIST) 強調,僅僅修正表面可見的問題(即已訓練模式的結果)只是治標不治本。要徹底解決演算法偏差問題,必須審查整個設計週期,從問題陳述到用於評估系統可接受性的指標。
人類與認知偏誤:我們的思考方式滲透到科技中
偏見並非源自於機器,而是源自於我們的思維。在複雜的世界中,我們人類會運用思考捷徑、啟發式方法和先入為主的觀念來快速做出決策。這些捷徑會產生認知偏差,當我們參與人工智慧系統的設計、訓練或監督時,這些偏差最終會被傳遞到程式碼和資料中。
其中最著名的例子之一是確認偏誤。我們傾向於尋找、解讀和記住那些與我們已有想法相符的訊息,而忽略或輕視任何與我們相悖的訊息。如果開發團隊認為某種模式是“正常的”,他們可能會選擇那些能夠強化其假設的數據和指標,而捨棄那些挑戰其假設的案例。這會影響變數選擇和模型驗證。
另一個經典的例子是錨定效應:我們會過度重視接收到的第一個訊息。在數位環境中,極高的初始價格會讓隨後的任何降價都顯得“誘人至極”,即使事實並非如此。人工智慧系統顯示初始推薦或預測時也會發生類似的情況:初始輸出會成為使用者、分析師或業務經理後續決策的錨點。
光環效應也發揮作用:我們往往會根據某個顯著特徵來評估一個人、產品或理念。在自動化篩選過程中,名校學位可能會導致基於歷史資料訓練的演算法系統性地高估這些院校的畢業生,而低估那些來自名氣較小院校、資質相當甚至更優秀的候選人。
消極偏見意味著我們更容易專注於負面訊息,並賦予其更高的權重。在詐欺偵測或風險評估模型中,這可能導致演算法過度重視避免某些錯誤,最終產生大量誤報,僅僅因為某些無辜者在統計上與過去的某些問題案例相似,就對他們進行懲罰。
所有這些認知偏差都會在多個環節中引入系統:決定要解決的問題、設計架構、手動標註資料、選擇損失函數(損失函數可能會對某些錯誤施加比其他錯誤更大的懲罰),以及解釋結果。正因如此,美國國家標準與技術研究院 (NIST) 堅持認為,人為因素、社會因素和製度因素與數據或演算法一樣,都是造成偏差的重要來源,而且這些因素常常被忽略。
除了統計或認知上的誤差之外,社會結構本身也存在著根深蒂固的偏見:種族主義、性別歧視、階級不平等以及對特定年齡或身分群體的歧視。這些系統性的偏見並非總是源自於特定個體的有意識偏見,而是源自於已經存在了數十年甚至數百年的規範、習俗和製度。
當我們收集歷史資料來訓練人工智慧系統時,我們實際上是將這段不平等的歷史以數位和數位記錄的形式封裝起來。從這些數據中學習的演算法最終會重現「一直以來都是如此」的情況:女性擔任領導職務的比例更低,某些社區的逮捕率更高,某些群體獲得信貸的機會更少。人工智慧非但沒有糾正不公正,反而用一層客觀的外衣強化了這種不公正。
有些理論架構區分了社會偏見和統計偏見。社會偏見指的是根深蒂固於文化中的刻板印象、刻板印象和傾向。統計偏差則是指數據所估計的結果與其本應代表的現實之間存在系統性差異。兩者相互交織:數據偏差往往是既有社會不平等的體現。
人工智慧生命週期中的製度規範、流程和實踐也發揮作用。這些因素涵蓋了從哪些專案獲得資助、哪些領域受到更多關注,到企業和公共管理部門如何實施系統等各個方面。結果是,系統性偏見會滲透到資料集、模型及其在實踐中的使用方式。
NIST 分類:計算偏差、人為偏差和系統性偏差
美國國家標準與技術研究院 (NIST) 特別出版物 1270《人工智慧偏見識別與管理標準》已成為理解該主題的關鍵參考資料。該文件確定了人工智慧中的三大類偏見:計算或統計偏見、人為偏見和系統性偏見。
計算偏差是指可以直接在訓練好的人工智慧模型的表現中衡量的偏差:例如,不同人群的錯誤率、得分或結果的差異。它們包括資料選擇偏差(訓練集不能準確代表現實情況)或嚴格意義上的演算法偏差(計算方法傾向於某些特定結果)。
人類偏見涵蓋了人工智慧生命週期中所有參與者思維中的偏見和系統性錯誤。這包括前面討論過的認知偏誤(確認偏誤、錨定偏誤、光環效應、負面偏誤等),這些偏誤會影響資料收集、標註、目標設定、指標選擇以及對系統產生的報告的解讀。
最後,系統性偏見指的是根植於社會及其製度的結構性不平等。這些偏見體現在歷史資料、現有法規、組織實務和經濟誘因機制。一個明顯的例子是,如果幾十年來,由於歧視性的警務執法,某個少數族裔群體被捕的頻率更高,那麼由此產生的數據就會導致犯罪預測系統一再針對這些群體。
美國國家標準與技術研究院 (NIST) 也強調了緩解這些偏見的三大挑戰:提高資料集的品質和多樣性,開發包含公平性標準的穩健測試和評估框架,以及透過在整個過程中融入倫理和監督來直接解決人為和組織因素。
自動化偏誤:過度依賴機器
除了前文提及的偏見之外,歐洲法規還關註一種日益普遍的現象:自動化偏見。歐盟人工智慧法規第14.4(b)條指出,人們可能會自動或過度信任人工智慧系統產生的結果,即使這些結果有錯誤或偏見。
這種自動化偏誤與確認偏誤和錨定偏誤密切相關。如果我們盲目信任系統的輸出,就更有可能去尋找那些強化機器所說內容的訊息,並將這種回饋當作其他一切的初始參考點。人工智慧的建議會成為一種“預設真理”,從而影響人類的判斷。
因此,歐洲法規堅持在高風險系統(例如,涉及基本權利的系統)中必須有人工監督。這並非僅僅指最後由人按下一個按鈕,而是要確保人能夠提供背景信息,質疑自動化決策,並在發現決策與具體情況不符時予以撤銷。
技術偏見及其後果的現實案例
當技術偏見在現實世界的系統中顯現時,其危害是實實在在的。各種類型的組織都因未能預見這種情況而遭受聲譽和法律上的打擊,而受影響的個人甚至可能根本不知道演算法已經做出了不公平的決定。
在醫療保健領域,女性和少數族裔在臨床數據中的代表性不足,導致一些診斷演算法對特定群體提供的診斷結果準確性較低。電腦輔助診斷支援系統在非裔美國患者中的診斷效果不如白人患者,這加劇了醫療保健領域現有的不平等現象。
在職場中,一家大型科技公司發現其基於人工智慧的招募系統存在系統性歧視女性的問題,不得不棄用該系統。該演算法從以往以男性為主的招聘歷史中學習,導致其更傾向於篩選與現有男性員工簡歷相似的簡歷,並對任何帶有女性特徵的信息進行負面過濾。
另一個例子是刑事司法風險分類系統,例如美國的COMPAS系統,該系統被指控在類似情況下,對黑人的再犯風險評估高於白人。儘管系統提供者為其技術辯護,但多項獨立分析都強調了種族差異的存在。
在電腦視覺領域,自動圖像標註工具曾出現過將黑人照片標註為帶有嚴重冒犯性詞語的情況,這凸顯了數據多樣性的缺失以及品質控制和文化敏感性的不足。使用諸如穩定擴散(Stable Diffusion)或類似工具的圖像生成器進行的研究表明,當要求標註特定職業的照片時,白人男性往往被標註為管理者,而女性和有色人種則被與低價值工作甚至犯罪角色聯繫起來。
在信貸和金融領域,以銀行記錄、郵遞區號或特定消費模式為關鍵變數的模型可能導致間接歧視。即使個人分析結果顯示並非如此,一些信用良好的人的貸款申請也可能被拒絕,因為系統基於歷史數據,將居住在特定社區或具有特定社會經濟特徵的人視為「高風險」人群。
在監控和安保領域,利用歷史逮捕數據的預測性警務工具因加劇特定社區的過度警力而備受詬病。如果某個地區因為種族或階級原因多年來一直受到更嚴密的巡邏,那麼數據顯示該地區發生的事件也會更多,演算法也會提出相應的建議…
反覆返回,產生 回饋迴路 這會使歧視性做法合法化。
技術週期中計算偏見的根源是什麼?
縱觀整個技術發展週期,偏差幾乎可能出現在任何階段。在資料收集階段,使用不平衡的歷史資料或系統性地排除某些群體,就已經埋下了問題的種子。在演算法設計階段,變數的選擇、架構以及最佳化目標決定了演算法對誤差的容忍度。
在訓練階段,著名的「垃圾進,垃圾出」(GIGO)原則就顯得尤為重要:如果你給模型輸入垃圾數據,無論演算法多麼複雜,結果仍然是垃圾……只不過披上了技術術語和華麗指標的外衣。資料偏差會導致模型記住大部分資料的模式,而對少數資料則完全失效。
在驗證過程中,如果只測量全局準確率指標而不按子群體(性別、年齡、種族、地區等)細分,那麼一個極不公平的模型也可能通過驗證,因為它「平均而言」看起來完美無缺。如果開發團隊過於同質化,並且由於某些問題不屬於他們的生活經驗範圍而選擇不問,這種情況會更加嚴重。
在部署階段,回饋循環效應也會出現:一個有偏差的系統會影響使用者行為,並產生新的資料來強化相同的模式。例如,如果推薦引擎只向特定使用者群體展示某些類型的內容,隨著時間的推移,這些使用者看起來似乎只消費了這類內容,因為他們無法存取其他類型的內容。
最後,在解釋結果時,自動化偏見和缺乏可解釋性可能導致企業經理、醫生、法官或招聘人員毫不質疑地接受機器所說的話,即使這與他們面前的定性證據相矛盾。
如何減少科技和人工智慧中的偏見
雖然沒有靈丹妙藥可以徹底消除偏見,但有一些方法可以顯著降低偏見。首先是資料多樣化:確保訓練集包含所有相關群體的充分代表性,定期審查資料不平衡情況,並使用統計和抽樣技術進行修正。
同時,擁有多元化的開發團隊至關重要。性別、文化背景、學科和生活經驗的多樣性有助於發現同質化團隊可能忽略的問題。演算法公平性不僅僅是數學問題,它還關乎社會和組織設計。
演算法審計和公平性測試也變得越來越普遍。在將系統部署到生產環境之前,建議評估其在不同子群體中的表現、出現的錯誤類型以及受影響最大的群體。這些審計應該是定期且透明的,而不僅僅是專案啟動時的形式主義。
可解釋性(可解釋人工智慧,XAI)和透明度也發揮關鍵作用。使用者和監管機構越能理解系統如何以及為何做出決策,就越容易發現並糾正隱藏的偏見。這包括清晰地記錄資料來源、模型的局限性以及不應使用該模型的場景。
歸根結底,法規和倫理為我們認真對待這一切提供了框架。諸如FATML(機器學習中的公平性、問責制和透明度)、FAIR資料原則(可查找、可存取、可互通、可重用)以及歐盟和美國的法規等倡議,都指向一個人工智慧必須公平、負責且可驗證的模式,尤其是在它影響基本權利的情況下。
教育與監管:消除偏見的另外兩大支柱
負責任的技術發展不僅取決於工程師和公司,還需要法律框架和知情的公民。例如,美國已通過一項行政命令,制定了人工智慧指導方針,其中包括關於透明度、安全性和打擊演算法歧視的指令。該命令尤其註重技術培訓和機構協調,以便發現和起訴潛在的侵犯人權行為。
歐盟的《人工智慧條例》旨在確保系統安全、透明、非歧視性,並尊重基本權利。該條例區分了不同程度的風險,並規定高風險演算法不能完全自主決策:必須始終有人能夠幹預、監督和糾正系統。
此外,歐盟法規要求模型必須易於理解:必須能夠識別哪些特徵會影響決策、影響權重以及影響背景。這使得受影響的個人和當局能夠質疑他們認為不公平的演算法決策,而這在不透明的系統中幾乎是不可能的。
然而,教育是第三個關鍵支柱。僅僅培訓開發者掌握機器學習技術是不夠的;他們還需要了解其作品的社會影響,意識到偏見從一開始就存在,並在設計時考慮到這一點。否則,無論他們的初衷多麼美好,最終都會重蹈覆轍,複製我們在現實世界中已經看到的種種不公。
使用者、管理者、醫療保健專業人員、法官、記者和公眾對這些技術的工作原理及其潛在風險有基本的了解至關重要。只有這樣,他們才能要求透明度,質疑結果,並以知情的方式參與關於我們想要什麼樣的人工智慧的討論。
技術偏見並非某些設計不良的演算法的孤立失敗,而是我們自身局限性、偏見和歷史不平等的數位體現;因此,解決這些問題需要結合更好的數據、更公平的模型、真正的人工監督、健全的法律框架和廣泛的教育,使我們能夠將人工智慧作為促進公平的工具,而不是將其作為放大我們社會最糟糕一面的鏡子。