- 技术偏见源于不平衡的数据、不透明的算法决策以及渗透到人工智能整个生命周期的人类偏见。
- 美国国家标准与技术研究院 (NIST) 区分了计算偏见、人为偏见和系统性偏见，这些偏见在不平等的社会环境中相互作用、相互强化。
- 医疗保健、司法、就业和信贷等领域的现实案例表明，存在着切实的危害，并强调了审计、问责制和人工监督的必要性。
- 监管、教育和多元化的团队是设计和部署更公平、更负责任的技术的重要支柱。
我们生活在算法的包围之中：它们推荐电视剧、发放贷款、筛选简历，并在社交媒体上优先推送新闻。我们常常认为，既然这些决定出自计算机之手，就比人为决策更加客观公正。但事实远比这令人不安：技术也并非中立。
当计算机或人工智能系统引入偏见时，这些错误并不会局限于数字世界：它们会导致错失良机、诊断不准确、监控不公或经济决策不公。了解这些技术偏见的来源、分类方式以及造成的危害，是开发和使用真正负责任的人工智能的关键。
什么是技术偏见？为什么它们不只是“技术故障”？
在数字领域，当计算机系统以不均衡、系统化且可预测的方式处理信息，并在没有正当理由的情况下偏袒某些群体时，我们就称之为偏见。这不仅仅是个别错误，而是结果中反复出现的模式。
这些技术偏见可能出现在许多层面：用于训练模型的数据、算法的设计、样本的标注方式、优化指标的选择，甚至人类对系统输出的解读。归根结底，技术偏见反映并放大了人类的偏见、历史遗留的不平等以及设计选择。
一个非常常见的错误是认为计算机“不会犯错”，因为它们遵循数学规则。任何人工智能解决方案背后都有团队负责决定使用哪些数据、哪些变量重要、如何衡量成功以及哪些误差可以接受。如果这些团队存在盲点或信息不完整，即使系统在“技术”上运行良好，最终产生的系统也可能存在严重的不公平之处。
训练数据偏差：当问题源于数据库时
人工智能和机器学习系统通过学习实例来获取信息。如果训练数据集不平衡、标注不准确或存在历史偏见，模型就会将这些有偏见的模式学习为世界的“正常”状态。这正是许多问题的根源所在。
这种偏见的一个典型来源是代表性误差：某些群体在数据中过度代表，而其他群体则几乎不存在。一个主要基于白人照片训练的人脸识别算法，在识别白人时往往表现出色，但在识别黑人、亚裔或其他少数族裔时则容易出错。如果警方数据主要来自种族聚居区，情况也是如此：人工智能会假定这些地区的犯罪率更高，而实际上，这些地区仅仅是历史上警力部署更为密集而已。
数据标签的标注方式也至关重要。当人为地赋予类别、描述或评分时，他们可能会引入自身的偏见。招聘工具会将某些个人资料标记为更“合格”，而这些工具可能在训练过程中使用了某些标签，这些标签在没有客观理由的情况下排除了女性、老年人或来自特定大学或国家的候选人。
在统计学中，当样本不能真正代表其所要模拟的总体时，我们就称之为偏差。其结果是，模型在训练数据中似乎表现良好，但在现实世界中却系统性地偏袒某些特定人群，而对那些在原始数据库中代表性不足或描述不清的人群则予以惩罚。
算法偏见：加剧不平等的设计决策
即使拥有良好的数据，算法的设计也可能引入偏差。当由于模型的构建方式或其应用的规则，反复产生不公平的结果、有偏差的错误或对某些群体造成不成比例的影响时，我们就称之为算法偏差。
一个明显的例子出现在使用看似中性变量的模型中，例如邮政编码、收入水平或某些消费模式。尽管算法无法直接“识别”种族或性别，但这些变量可以作为敏感类别的替代指标，从而再现那些未被明确编码的种族、阶级或性别偏见。
开发者的偏见也会悄然渗入编程之中。如果系统设计者有意或无意地决定某些因素的权重高于其他因素，他们可能就会将自身对“价值”、“风险”或“正常”的偏见性理解强加于系统之上。其结果可能是：信用算法自动惩罚低收入人群，或者推荐系统系统性地屏蔽某些内容或群体。
美国国家标准与技术研究院 (NIST) 强调，仅仅纠正表面可见的问题（即已训练模型的结果）只是治标不治本。要彻底解决算法偏差问题，必须审查整个设计周期，从问题陈述到用于评估系统可接受性的指标。
人类和认知偏差：我们的思维方式渗透到技术中
偏见并非源于机器，而是源于我们的思维。在复杂的世界中，我们人类会运用思维捷径、启发式方法和先入为主的观念来快速做出决策。这些捷径会产生认知偏差，而当我们参与人工智能系统的设计、训练或监督时，这些偏差最终会被传递到代码和数据中。
其中最著名的例子之一是确认偏差。我们倾向于寻找、解读和记住那些与我们已有想法相符的信息，而忽略或轻视任何与我们相悖的信息。如果一个开发团队认为某种模式是“正常的”，他们可能会选择那些能够强化其假设的数据和指标，而舍弃那些挑战其假设的案例。这会影响变量选择和模型验证。
另一个经典的例子是锚定效应：我们会过分重视接收到的第一条信息。在数字环境中，极高的初始价格会让随后的任何降价都显得“诱人至极”，即使事实并非如此。人工智能系统显示初始推荐或预测时也会发生类似的情况：初始输出会成为用户、分析师或业务经理后续决策的锚点。
光环效应也发挥着作用：我们往往会根据某个显著特征来评价一个人、产品或理念。在自动化筛选过程中，名校学位可能会导致基于历史数据训练的算法系统性地高估这些院校的毕业生，而低估那些来自名气较小院校、资质相当甚至更优秀的候选人。
消极偏见意味着我们更容易关注负面信息，并赋予其更高的权重。在欺诈检测或风险评估模型中，这可能导致算法过度重视避免某些错误，最终产生大量误报，仅仅因为某些无辜者在统计学上与过去的某些问题案例相似，就对他们进行惩罚。
所有这些认知偏差都会在多个环节被引入系统：决定要解决的问题、设计架构、手动标注数据、选择损失函数（损失函数可能会对某些错误施加比其他错误更大的惩罚），以及解释结果。正因如此，美国国家标准与技术研究院 (NIST) 坚持认为，人为因素、社会因素和制度因素与数据或算法一样，都是造成偏差的重要来源，而且这些因素常常被忽视。
除了统计或认知上的误差之外，社会结构本身也存在着根深蒂固的偏见：种族主义、性别歧视、阶级不平等以及对特定年龄或身份群体的歧视。这些系统性的偏见并非总是源于特定个体的有意识偏见，而是源于已经存在了数十年甚至数百年的规范、习俗和制度。
当我们收集历史数据来训练人工智能系统时，我们实际上是将这段不平等的历史以数字和数字记录的形式封装起来。从这些数据中学习的算法最终会重现“一直以来都是如此”的情况：女性担任领导职务的比例更低，某些社区的逮捕率更高，某些群体获得信贷的机会更少。人工智能非但没有纠正不公正，反而用一层客观的外衣强化了这种不公正。
有些理论框架区分了社会偏见和统计偏见。社会偏见指的是根深蒂固于文化中的成见、刻板印象和倾向。统计偏见则是指数据所估计的结果与其本应代表的现实之间存在系统性差异。两者相互交织：数据偏差往往是既有社会不平等的体现。
人工智能生命周期中的制度规范、流程和实践也发挥着作用。这些因素涵盖了从哪些项目获得资助、哪些领域受到更多关注，到企业和公共管理部门如何实施系统等各个方面。其结果是，系统性偏见会渗透到数据集、模型及其在实践中的使用方式中。
NIST 分类：计算偏差、人为偏差和系统性偏差
美国国家标准与技术研究院 (NIST) 特别出版物 1270《人工智能偏见识别与管理标准》已成为理解该主题的关键参考资料。该文件确定了人工智能中的三大类偏见：计算或统计偏见、人为偏见和系统性偏见。
计算偏差是指可以直接在训练好的人工智能模型的性能中衡量的偏差：例如，不同人群的错误率、得分或结果的差异。它们包括数据选择偏差（训练集不能准确代表现实情况）或严格意义上的算法偏差（计算方法倾向于某些特定结果）。
人类偏见涵盖了人工智能生命周期中所有参与者思维中的偏见和系统性错误。这包括前面讨论过的认知偏见（确认偏差、锚定偏差、光环效应、消极偏差等），这些偏见会影响数据收集、标注、目标设定、指标选择以及对系统生成的报告的解读。
最后，系统性偏见指的是根植于社会及其制度的结构性不平等。这些偏见体现在历史数据、现有法规、组织实践和经济激励机制中。一个明显的例子是，如果几十年来，由于歧视性的警务执法，某个少数族裔群体被捕的频率更高，那么由此产生的数据就会导致犯罪预测系统反复针对这些群体。
美国国家标准与技术研究院 (NIST) 还强调了缓解这些偏见的三大挑战：提高数据集的质量和多样性，开发包含公平性标准的稳健测试和评估框架，以及通过在整个过程中融入伦理和监督来直接解决人为和组织因素。
自动化偏见：过度依赖机器
除了前文提及的偏见之外，欧洲法规还关注一种日益普遍的现象：自动化偏见。欧盟人工智能法规第14.4(b)条指出，人们可能会自动或过度信任人工智能系统生成的结果，即使这些结果存在错误或偏见。
这种自动化偏差与确认偏差和锚定偏差密切相关。如果我们盲目信任系统的输出，就更有可能去寻找那些强化机器所说内容的信息，并将这种反馈作为其他一切的初始参考点。人工智能的建议会成为一种“默认真理”，从而影响人类的判断。
因此，欧洲法规坚持在高风险系统（例如，涉及基本权利的系统）中必须有人工监督。这并非仅仅指最后由人按下一个按钮，而是要确保人能够提供背景信息，质疑自动化决策，并在发现决策与具体情况不符时予以撤销。
技术偏见及其后果的现实案例
当技术偏见在现实世界的系统中显现时，其危害是实实在在的。各种类型的组织都因未能预见到这种情况而遭受声誉和法律上的打击，而受影响的个人甚至可能根本不知道算法已经做出了不公平的决定。
在医疗保健领域，女性和少数族裔在临床数据中的代表性不足，导致一些诊断算法对特定群体提供的诊断结果准确性较低。计算机辅助诊断支持系统在非裔美国患者中的诊断效果也逊于白人患者，这加剧了医疗保健领域现有的不平等现象。
在职场中，一家大型科技公司发现其基于人工智能的招聘系统存在系统性歧视女性的问题，不得不弃用该系统。该算法从以往以男性为主的招聘历史中学习，导致其更倾向于筛选与现有男性员工简历相似的简历，并对任何带有女性特征的信息进行负面过滤。
另一个例子是刑事司法风险分类系统，例如美国的COMPAS系统，该系统被指控在类似情况下，对黑人的再犯风险评估高于白人。尽管系统提供商为其技术辩护，但多项独立分析都强调了种族差异的存在。
在计算机视觉领域，自动图像标注工具曾出现过将黑人照片标注为带有严重冒犯性词语的情况，这凸显了数据多样性的缺失以及质量控制和文化敏感性的不足。使用诸如稳定扩散（Stable Diffusion）或类似工具的图像生成器进行的研究表明，当要求标注特定职业的照片时，白人男性往往被标注为管理者，而女性和有色人种则被与低价值工作甚至犯罪角色联系起来。
在信贷和金融领域，以银行记录、邮政编码或特定消费模式为关键变量的模型可能导致间接歧视。即使个人分析结果显示并非如此，一些信用良好的人的贷款申请也可能被拒绝，因为系统基于历史数据，将居住在特定社区或具有特定社会经济特征的人视为“高风险”人群。
在监控和安保领域，利用历史逮捕数据的预测性警务工具因加剧特定社区的过度警力而备受诟病。如果某个地区由于种族或阶级原因多年来一直受到更严密的巡逻，那么数据显示该地区发生的事件也会更多，算法也会提出相应的建议……
反复返回，产生 反馈回路 这会使歧视性做法合法化。
技术周期中计算偏见的根源是什么？
纵观整个技术发展周期，偏差几乎可能出现在任何阶段。在数据收集阶段，使用不平衡的历史数据或系统性地排除某些群体，就已经埋下了问题的种子。在算法设计阶段，变量的选择、架构以及优化目标决定了算法对误差的容忍度。
在训练阶段，著名的“垃圾进，垃圾出”（GIGO）原则就显得尤为重要：如果你给模型输入垃圾数据，无论算法多么复杂，结果仍然是垃圾……只不过披上了技术术语和华丽指标的外衣。数据偏差会导致模型记住大部分数据的模式，而对少数数据则完全失效。
在验证过程中，如果只测量全局准确率指标而不按子群体（性别、年龄、种族、地区等）细分，那么一个极不公平的模型也可能通过验证，因为它“平均而言”看起来完美无缺。如果开发团队过于同质化，并且由于某些问题不属于他们的生活经验范围而选择不问，这种情况会更加严重。
在部署阶段，反馈循环效应也会出现：一个有偏差的系统会影响用户行为，并产生新的数据来强化相同的模式。例如，如果推荐引擎只向特定用户群体展示某些类型的内容，随着时间的推移，这些用户看起来似乎只消费了这类内容，因为他们无法访问其他类型的内容。
最后，在解释结果时，自动化偏见和缺乏可解释性可能导致企业经理、医生、法官或招聘人员毫不质疑地接受机器所说的话，即使这与他们面前的定性证据相矛盾。
如何减少技术和人工智能中的偏见
虽然没有灵丹妙药可以彻底消除偏见，但有一些方法可以显著降低偏见。首先是数据多样化：确保训练集包含所有相关群体的充分代表性，定期审查数据不平衡情况，并使用统计和抽样技术进行纠正。
与此同时，拥有多元化的开发团队至关重要。性别、文化背景、学科和生活经验的多样性有助于发现同质化团队可能忽略的问题。算法公平性不仅仅是数学问题，它还关乎社会和组织设计。
算法审计和公平性测试也变得越来越普遍。在将系统部署到生产环境之前，建议评估其在不同子群体中的表现、出现的错误类型以及受影响最大的群体。这些审计应该是定期且透明的，而不仅仅是项目启动时的形式主义。
可解释性（可解释人工智能，XAI）和透明度也发挥着关键作用。用户和监管机构越能理解系统如何以及为何做出决策，就越容易发现并纠正隐藏的偏见。这包括清晰地记录数据来源、模型的局限性以及不应使用该模型的场景。
归根结底，法规和伦理为我们认真对待这一切提供了框架。诸如FATML（机器学习中的公平性、问责制和透明度）、FAIR数据原则（可查找、可访问、可互操作、可重用）以及欧盟和美国的法规等倡议，都指向一个人工智能必须公平、负责且可验证的模式，尤其是在它影响基本权利的情况下。
教育和监管：消除偏见的另外两大支柱
负责任的技术发展不仅取决于工程师和公司，还需要法律框架和知情的公民。例如，美国已通过一项行政命令，制定了人工智能指导方针，其中包括关于透明度、安全性和打击算法歧视的指令。该命令尤其注重技术培训和机构协调，以便发现和起诉潜在的侵犯人权行为。
欧盟的《人工智能条例》旨在确保系统安全、透明、非歧视性，并尊重基本权利。该条例区分了不同级别的风险，并规定高风险算法不能完全自主决策：必须始终有人能够干预、监督和纠正系统。
此外，欧盟法规要求模型必须易于理解：必须能够识别哪些特征会影响决策、影响权重以及影响背景。这使得受影响的个人和当局能够质疑他们认为不公平的算法决策，而这在不透明的系统中几乎是不可能的。
然而，教育是第三个关键支柱。仅仅培训开发者掌握机器学习技术是不够的；他们还需要了解其作品的社会影响，意识到偏见从一开始就存在，并在设计时考虑到这一点。否则，无论他们的初衷多么美好，最终都会重蹈覆辙，复制我们在现实世界中已经看到的种种不公。
用户、管理者、医疗保健专业人员、法官、记者和公众对这些技术的工作原理及其潜在风险有基本的了解至关重要。只有这样，他们才能要求透明度，质疑结果，并以知情的方式参与关于我们想要什么样的人工智能的讨论。
技术偏见并非某些设计不良的算法的孤立失败，而是我们自身局限性、偏见和历史不平等的数字化体现；因此，解决这些问题需要结合更好的数据、更公平的模型、真正的人工监督、健全的法律框架和广泛的教育，使我们能够将人工智能作为促进公平的工具，而不是将其作为放大我们社会最糟糕一面的镜子。
