- Les biais technologiques découlent de données déséquilibrées, de décisions algorithmiques opaques et de préjugés humains qui s'infiltrent dans tout le cycle de vie de l'IA.
- Le NIST fait la distinction entre les biais computationnels, humains et systémiques, qui interagissent et se renforcent mutuellement dans les contextes sociaux inégaux.
- Des exemples concrets dans les domaines de la santé, de la justice, de l'emploi et du crédit démontrent des préjudices tangibles et renforcent la nécessité d'audits, de responsabilisation et de contrôle humain.
- La réglementation, l'éducation et la diversité des équipes sont des piliers essentiels pour concevoir et déployer des technologies plus justes et plus responsables.
Nous vivons entourés d'algorithmes : ils recommandent des séries télévisées, accordent des prêts, filtrent les CV et hiérarchisent l'actualité sur les réseaux sociaux . Nous supposons souvent que, puisqu'elles proviennent d'un ordinateur, ces décisions sont plus objectives et justes que celles prises par un être humain. Mais la réalité est bien plus troublante : la technologie n'est pas neutre non plus.
Lorsqu'un ordinateur ou un système d'intelligence artificielle intègre des biais, ces erreurs ne se limitent pas au monde numérique : elles se traduisent par des occasions manquées, des diagnostics moins précis, une surveillance inégale ou des décisions économiques injustes . Comprendre l'origine de ces biais technologiques, leur classification et les dommages qu'ils causent est essentiel pour développer et utiliser une IA véritablement responsable.
Que sont les biais technologiques et pourquoi ne sont-ils pas simplement des « bugs techniques » ?
Dans le domaine numérique, on parle de biais lorsqu'un système informatique traite l'information de manière inégale , systématique et prévisible , favorisant certains groupes au détriment d'autres sans justification légitime. Il ne s'agit pas seulement d'erreurs isolées, mais de schémas récurrents dans les résultats.
Ces biais technologiques peuvent se manifester à différents niveaux : dans les données utilisées pour entraîner un modèle, dans la conception de l’algorithme, dans l’étiquetage des exemples, dans les indicateurs choisis pour l’optimisation, voire même dans l’interprétation des résultats du système par les humains. En définitive, les biais technologiques reflètent et amplifient les préjugés humains, les inégalités historiques et les choix de conception.
Une erreur très fréquente consiste à croire que les ordinateurs « ne font pas d'erreurs » parce qu'ils suivent des règles mathématiques. Derrière chaque solution d'IA se cachent des équipes qui décident des données à utiliser, des variables importantes, des indicateurs de réussite et des erreurs acceptables. Si ces équipes ont des angles morts ou travaillent avec des informations incomplètes, les systèmes qui en résultent peuvent être profondément injustes, même s'ils fonctionnent « techniquement » bien.
Biais dans les données d'entraînement : lorsque le problème provient de la base de données
Les systèmes d'IA et d'apprentissage automatique apprennent à partir d'exemples. Si l' ensemble de données sur lequel ils sont entraînés est déséquilibré, mal étiqueté ou comporte des biais historiques, le modèle apprendra ces schémas biaisés comme s'il s'agissait de la norme . C'est là que réside une grande partie du problème.
L'une des sources classiques de ce biais est l'erreur de représentation : certains groupes sont surreprésentés dans les données, tandis que d'autres sont quasiment absents. Un algorithme de reconnaissance faciale entraîné principalement sur des photos de personnes blanches aura tendance à être très performant avec ce groupe et à commettre beaucoup plus d'erreurs avec les personnes noires, asiatiques ou issues d'autres minorités. Il en va de même si les données policières proviennent principalement de quartiers racialisés : l'IA supposera des taux de criminalité plus élevés dans ces quartiers, alors qu'en réalité, il y a simplement une présence policière historique plus importante.
La manière dont les données sont étiquetées a également un impact crucial. Lorsque des humains attribuent des catégories, des descriptions ou des scores, ils peuvent introduire leurs propres biais. Les outils de recrutement qui signalent certains profils comme étant plus « qualifiés » peuvent avoir été entraînés avec des étiquettes qui, sans raison objective, excluent les femmes, les personnes âgées ou les candidats de certaines universités ou de certains pays.
En statistique, on parle de biais lorsque l'échantillon ne représente pas fidèlement la population qu'il est censé modéliser. Il en résulte un modèle qui semble performant sur les données d'entraînement, mais qui, dans la réalité, favorise systématiquement certains profils et en pénalise d'autres , sous-représentés ou mal décrits dans la base de données d'origine.
Biais algorithmiques : décisions de conception qui amplifient les inégalités
Même avec des données de qualité, la conception de l'algorithme peut introduire un biais. On parle de biais algorithmique lorsque, du fait de la construction du modèle ou des règles qu'il applique, des résultats inéquitables, des erreurs biaisées ou des impacts disproportionnés sur certains groupes sont générés de manière répétée .
Un exemple flagrant apparaît dans les modèles qui utilisent des variables apparemment neutres, comme le code postal, le niveau de revenu ou certains comportements de consommation. Bien que l'algorithme ne « voie » pas directement l'origine ethnique ou le sexe, ces variables peuvent servir d' indicateurs indirects de catégories sensibles , reproduisant ainsi des biais raciaux, sociaux ou sexistes qui n'ont pas été explicitement codés.
Les biais des développeurs peuvent également s'insinuer dans la programmation. Si le concepteur du système décide, consciemment ou inconsciemment, de pondérer certains facteurs plus que d'autres, il risque de transmettre sa propre vision biaisée de ce qui constitue le « mérite », le « risque » ou la « normalité ». Il en résulte des algorithmes de crédit qui pénalisent automatiquement les personnes à faibles revenus, ou des systèmes de recommandation qui censurent systématiquement certains contenus ou groupes.
L'Institut national des normes et de la technologie (NIST) souligne que corriger uniquement les résultats apparents du modèle déjà entraîné ne suffit pas . Pour traiter efficacement les biais algorithmiques, il est indispensable de revoir l'ensemble du cycle de conception, depuis la définition du problème jusqu'aux indicateurs utilisés pour évaluer l'acceptabilité du système.
Biais humains et cognitifs : notre façon de penser influence la technologie
Les biais ne proviennent pas de la machine ; ils proviennent de notre esprit. Nous, humains, utilisons des raccourcis mentaux, des heuristiques et des idées préconçues pour prendre des décisions rapides dans un monde complexe. Ces raccourcis produisent des biais cognitifs qui, lorsque nous participons à la conception, à l’entraînement ou à la supervision de systèmes d’IA, finissent par se retrouver dans le code et les données.
L'un des biais les plus connus est le biais de confirmation. Nous avons tendance à rechercher, interpréter et retenir les informations qui confirment nos idées préconçues, en ignorant ou en minimisant tout ce qui nous contredit. Si une équipe de développement considère un certain schéma comme « normal », elle risque de choisir les données et les indicateurs qui confortent son hypothèse , en écartant les cas qui la remettent en question. Cela influence à la fois la sélection des variables et la validation du modèle.
Un autre exemple classique est le biais d'ancrage : nous accordons une importance excessive à la première information reçue. Dans le domaine numérique, un prix initial très élevé peut rendre toute baisse de prix ultérieure irrésistible, même si elle ne l'est pas. Un phénomène similaire se produit lorsqu'un système d'IA affiche une recommandation ou une prédiction initiale : ce résultat initial sert de point d'ancrage aux décisions ultérieures des utilisateurs, des analystes ou des gestionnaires.
L'effet de halo entre également en jeu : nous avons tendance à valoriser une personne, un produit ou une idée en fonction d'une seule caractéristique marquante. Dans les processus de sélection automatisés, un diplôme d'une université prestigieuse peut amener un algorithme, entraîné sur des données historiques, à survaloriser systématiquement les diplômés de ces établissements et à sous-valoriser des candidats tout aussi, voire plus qualifiés, issus d'établissements moins réputés.
Le biais de négativité signifie que nous accordons plus d'importance aux informations négatives. Dans les modèles de détection de fraude ou d'évaluation des risques, cela peut se traduire par des algorithmes qui privilégient tellement l'évitement de certaines erreurs qu'ils finissent par générer de nombreux faux positifs , pénalisant ainsi des personnes innocentes simplement parce qu'elles ressemblent statistiquement à des cas problématiques du passé.
Tous ces biais cognitifs sont introduits dans le système à de multiples étapes : lors du choix du problème à résoudre, lors de la conception de l’architecture, lors de l’étiquetage manuel des données, lors du choix des fonctions de perte (qui peuvent pénaliser certaines erreurs plus que d’autres), ou encore lors de l’interprétation des résultats. C’est pourquoi le NIST insiste sur le fait que les facteurs humains, sociaux et institutionnels constituent une source de biais aussi importante que les données ou les algorithmes, et qu’ils sont souvent négligés.
Au-delà des erreurs statistiques ou cognitives, il existe des biais intrinsèques à la structure même de la société : racisme, sexisme, inégalités de classe et discrimination fondée sur l’âge ou l’identité. Ces biais systémiques ne découlent pas toujours des préjugés conscients d’individus, mais plutôt de normes, de pratiques et d’institutions en vigueur depuis des décennies, voire des siècles.
Lorsque nous collectons des données historiques pour entraîner des systèmes d'IA, nous encapsulons en réalité cette histoire d'inégalités sous forme de chiffres et d'enregistrements numériques. Les algorithmes qui apprennent de ces données finissent par reproduire ce qui « a toujours été ainsi » : moins de femmes aux postes de direction, plus d'arrestations dans certains quartiers, un accès au crédit plus limité pour certaines communautés. Au lieu de corriger l'injustice, l'IA la renforce sous un vernis d'objectivité.
Certains cadres d'analyse distinguent les biais sociaux des biais statistiques. Les biais sociaux renvoient aux préjugés, stéréotypes et inclinations profondément ancrés dans une culture. Les biais statistiques, quant à eux, surviennent lorsqu'il existe un écart systématique entre les estimations des données et la réalité qu'elles sont censées représenter . Ces deux types de biais sont étroitement liés : des données biaisées reflètent souvent numériquement des inégalités sociales préexistantes.
Les normes, processus et pratiques institutionnels tout au long du cycle de vie de l'IA y contribuent également. Cela concerne notamment le financement des projets, l'attention portée aux différents secteurs et la mise en œuvre des systèmes dans les entreprises et les administrations publiques. Il en résulte des biais systémiques qui s'insinuent dans les ensembles de données , les modèles et leur utilisation concrète.
La typologie du NIST : biais computationnels, humains et systémiques
La publication spéciale 1270 du NIST, intitulée « Vers une norme pour l’identification et la gestion des biais en intelligence artificielle », est devenue une référence essentielle pour la compréhension de ce sujet. Ce document identifie trois grandes catégories de biais en IA : les biais computationnels ou statistiques, les biais humains et les biais systémiques.
Les biais de calcul sont ceux qui peuvent être directement mesurés dans les performances d'un modèle d'IA entraîné : différences de taux d'erreur, de scores ou de résultats selon le groupe de population. Ils incluent notamment le biais de sélection des données (lorsque l'ensemble d'entraînement ne représente pas fidèlement la réalité) et le biais algorithmique au sens strict (lorsque la méthode de calcul favorise certains résultats).
Les biais humains englobent tous les préjugés et erreurs systématiques de raisonnement des personnes impliquées dans le cycle de vie de l'IA. Cela inclut les biais cognitifs déjà évoqués (biais de confirmation, biais d'ancrage, effet de halo, biais de négativité, etc.), qui influencent la collecte des données, l'étiquetage, la définition des objectifs, le choix des indicateurs et l'interprétation des rapports générés par un système.
Enfin, les biais systémiques désignent les inégalités structurelles ancrées dans la société et ses institutions. Ces biais se reflètent dans les données historiques, la réglementation en vigueur, les pratiques organisationnelles et les incitations économiques. Par exemple, si, pendant des décennies, les personnes appartenant à une minorité particulière ont été arrêtées plus fréquemment en raison de pratiques policières discriminatoires, les données qui en résulteront conduiront un système de prédiction de la criminalité à cibler systématiquement ces mêmes communautés.
Le NIST souligne également trois défis majeurs pour atténuer ces biais : améliorer la qualité et la diversité des ensembles de données, développer des cadres de test et d’évaluation robustes qui incluent des critères d’équité et aborder directement les facteurs humains et organisationnels en intégrant l’éthique et la surveillance tout au long du processus.
Biais d'automatisation : trop se fier à la machine
Outre les biais déjà mentionnés, la réglementation européenne s'est penchée sur un phénomène de plus en plus fréquent : le biais d'automatisation. Le règlement européen sur l'IA, en son article 14.4, point b), souligne le risque que les individus accordent automatiquement ou excessivement leur confiance aux résultats générés par un système d'IA, même si ces résultats sont erronés ou biaisés.
Ce biais d'automatisation est étroitement lié au biais de confirmation et au biais d'ancrage. Si nous faisons aveuglément confiance aux résultats d'un système, nous sommes plus enclins à rechercher des informations qui confortent les propos de la machine et à utiliser cette réponse comme point de référence initial pour tout le reste. Les suggestions de l'IA deviennent une « vérité par défaut » qui influence notre jugement.
C’est pourquoi la réglementation européenne insiste sur la nécessité d’une supervision humaine dans les systèmes à haut risque (par exemple, ceux qui touchent aux droits fondamentaux). Il ne s’agit pas simplement qu’une personne appuie sur un bouton à la fin, mais de s’assurer qu’elle puisse fournir le contexte, remettre en question la décision automatisée et la rectifier si elle constate qu’elle n’est pas adaptée aux circonstances.
Exemples concrets de biais technologiques et de leurs conséquences
Lorsque les biais technologiques se concrétisent dans des systèmes réels, les dégâts sont bien réels. Des organisations de tous types ont subi des atteintes à leur réputation et des poursuites judiciaires pour ne pas avoir anticipé ces situations, tandis que les personnes concernées peuvent même ignorer qu'une décision injuste a été prise par un algorithme.
Dans le domaine de la santé, la sous-représentation des femmes et des minorités dans les données cliniques a conduit à des algorithmes de diagnostic moins précis pour certains groupes . On a constaté que les systèmes d'aide au diagnostic informatisés étaient moins performants chez les patients afro-américains que chez les patients blancs, perpétuant ainsi les inégalités existantes en matière de santé.
Dans le secteur des technologies, une grande entreprise a dû abandonner un système de recrutement basé sur l'IA après avoir constaté qu'il pénalisait systématiquement les femmes. L'algorithme, s'appuyant sur un historique de recrutements majoritairement masculins, privilégiait les CV similaires à ceux des hommes déjà en poste et éliminait toute trace de féminité.
Un autre exemple est celui des systèmes de classification des risques dans le système de justice pénale, tels que COMPAS aux États-Unis, accusés d'attribuer des taux de risque de récidive plus élevés aux personnes noires qu'aux personnes blanches dans des situations comparables. Bien que les fournisseurs aient défendu leur technologie, plusieurs analyses indépendantes ont mis en évidence des disparités raciales.
Dans le domaine de la vision par ordinateur, il est arrivé que des outils d'étiquetage automatique d'images classent des photos de personnes noires avec des termes extrêmement offensants, révélant ainsi un manque de diversité des données, une absence de contrôles de qualité et de sensibilité culturelle. Des études utilisant des générateurs d'images comme Stable Diffusion ou des outils similaires ont montré que, lorsqu'on demandait des photos de professions spécifiques, les hommes blancs apparaissaient majoritairement comme cadres , tandis que les femmes et les personnes de couleur étaient associées à des emplois moins valorisés, voire à des rôles criminels.
Dans le secteur du crédit et de la finance, les modèles qui utilisent l'historique bancaire, le code postal ou certains comportements de consommation comme variables clés peuvent entraîner une discrimination indirecte. Des personnes parfaitement solvables peuvent se voir refuser un prêt parce que le système, se basant sur des données historiques, considère comme « plus à risque » les habitants de certains quartiers ou les personnes ayant un certain profil socio-économique, même si une analyse individuelle révèle une situation différente.
En matière de surveillance et de sécurité, les outils de police prédictive utilisant les données historiques d'arrestations ont été critiqués pour leur impact négatif sur le maintien de l'ordre dans certaines communautés. Si une zone est patrouillée de manière plus intensive depuis des années pour des raisons raciales ou sociales, les données y indiqueront davantage d'incidents et l'algorithme en déduira…
revenir encore et encore, produisant un boucle de rétroaction qui légitime les pratiques discriminatoires.
D’où proviennent les biais informatiques dans le cycle technologique ?
Si l'on considère l'ensemble du cycle de développement technologique, des biais peuvent apparaître à pratiquement n'importe quelle étape. Lors de la collecte de données, le recours à des sources historiques déséquilibrées ou l'exclusion systématique de certaines populations constituent déjà un terreau fertile pour le problème. Dans la conception d'algorithmes, le choix des variables, des architectures et des objectifs d'optimisation détermine les types d'erreurs qui seront les plus tolérés.
Durant la phase d'entraînement, le fameux principe GIGO (Garbage In, Garbage Out – Données erronées en entrée, données erronées en sortie) prend tout son sens : si l'on fournit à un modèle des données de mauvaise qualité, aussi sophistiqué soit l'algorithme, le résultat sera toujours erroné… même s'il est enrobé de jargon technique et de métriques attrayantes. Un déséquilibre des données peut amener le modèle à mémoriser les tendances majoritaires et à échouer lamentablement avec les tendances minoritaires.
Lors de la validation, si seules les mesures de précision globales sont prises en compte sans les ventiler par sous-groupes (sexe, âge, origine ethnique, région, etc.), un modèle très biaisé peut passer les tests car, « en moyenne », il semble fonctionner parfaitement. Ce problème est accentué si l'équipe de développement est trop homogène et ne pose pas certaines questions, car elles ne font pas partie de son expérience.
Durant la phase de déploiement, des effets de boucle de rétroaction apparaissent également : un système biaisé peut influencer le comportement des utilisateurs et générer de nouvelles données qui renforcent les mêmes schémas. Par exemple, si un moteur de recommandation ne présente que certains types de contenu à des profils d’utilisateurs spécifiques, il apparaîtra avec le temps que ces utilisateurs ne consomment que ce type de contenu, faute d’accès aux autres.
Enfin, lors de l'interprétation des résultats, les biais liés à l'automatisation et le manque d'explicabilité peuvent amener les chefs d'entreprise, les médecins, les juges ou les recruteurs à accepter sans questionnement ce que dit la machine, même lorsque cela contredit les preuves qualitatives dont ils disposent.
Comment réduire les biais dans la technologie et l'IA
Il n'existe pas de solution miracle pour éliminer complètement les biais, mais un ensemble de pratiques permet de les réduire considérablement. La première consiste à diversifier les données : s'assurer que les ensembles d'entraînement comprennent une représentation suffisante de tous les groupes pertinents , examiner régulièrement les déséquilibres et les corriger à l'aide de techniques statistiques et d'échantillonnage.
Parallèlement, il est crucial de constituer des équipes de développement diversifiées. La variété des profils (genre, origine culturelle, discipline, expérience de vie) permet d'identifier des problèmes qu'un groupe homogène risquerait de négliger. L'équité algorithmique ne relève pas uniquement des mathématiques ; elle est aussi une question de conception sociale et organisationnelle.
Les audits d'algorithmes et les tests d'équité sont de plus en plus fréquents. Avant la mise en production d'un système, il est conseillé d'évaluer ses performances auprès de différents sous-groupes d'utilisateurs, les types d'erreurs qu'il commet et les personnes les plus impactées. Ces audits doivent être périodiques et transparents , et non se limiter à une simple formalité en début de projet.
L'explicabilité (IA explicable, XAI) et la transparence jouent également un rôle essentiel. Plus les utilisateurs et les régulateurs comprennent comment et pourquoi un système prend ses décisions, plus il est facile de détecter et de corriger les biais cachés. Cela implique de documenter clairement la source des données, les limites du modèle et les situations dans lesquelles il ne doit pas être utilisé.
En définitive, la réglementation et l'éthique constituent le cadre qui nous oblige à prendre ces questions au sérieux. Des initiatives telles que FATML (Équité, Responsabilité, Transparence dans l'apprentissage automatique), les principes FAIR (Faciles à trouver, Accessibles, Interopérables et Réutilisables) et les réglementations européennes et américaines orientent vers un modèle où l'IA doit être équitable, responsable et vérifiable , notamment lorsqu'elle a un impact sur les droits fondamentaux.
Éducation et réglementation : les autres piliers de la lutte contre les préjugés
Le développement de technologies responsables ne dépend pas uniquement des ingénieurs et des entreprises ; il requiert également des cadres juridiques et une citoyenneté informée. Aux États-Unis, par exemple, un décret présidentiel a établi des lignes directrices pour l’IA , notamment des directives sur la transparence, la sécurité et la lutte contre la discrimination algorithmique. Ce décret met entre autres l’accent sur la formation technique et la coordination institutionnelle afin de détecter et de poursuivre les violations potentielles des droits humains.
Au sein de l'Union européenne, le règlement relatif à l'intelligence artificielle vise à garantir que les systèmes soient sûrs, transparents, non discriminatoires et respectueux des droits fondamentaux. Ce règlement établit une distinction entre différents niveaux de risque et stipule que les algorithmes à haut risque ne peuvent prendre de décisions de manière totalement autonome : une personne doit toujours être présente pour intervenir, superviser et corriger le système.
De plus, le règlement européen exige que les modèles soient compréhensibles : il doit être possible d’identifier les caractéristiques qui influencent les décisions, leur importance relative et le contexte dans lequel elles interviennent. Cela permet aux personnes concernées et aux autorités de contester les décisions algorithmiques qu’elles jugent inéquitables, ce qui était quasiment impossible avec les systèmes opaques.
L'éducation constitue cependant le troisième pilier essentiel. Il ne suffit pas de former les développeurs aux techniques d'apprentissage automatique ; ils doivent comprendre l'impact social de leurs créations, être conscients de l'existence de biais dès le départ et concevoir en tenant compte de ce facteur. Autrement, aussi bien intentionnés soient-ils, ils finiront par reproduire les mêmes injustices que nous observons déjà dans le monde réel.
Il est également important que les utilisateurs, les gestionnaires, les professionnels de la santé, les juges, les journalistes et le grand public comprennent les principes de base du fonctionnement de ces technologies et les risques qu'elles comportent. Ce n'est qu'à cette condition qu'ils pourront exiger de la transparence, questionner les résultats et participer de manière éclairée au débat sur le type d'intelligence artificielle que nous souhaitons.
Les biais technologiques ne sont pas un échec isolé de quelques algorithmes mal conçus, mais la manifestation numérique de nos propres limites, préjugés et inégalités historiques ; par conséquent, les corriger nécessite une combinaison de meilleures données, de modèles plus justes, d'une véritable supervision humaine, de cadres juridiques solides et d'une éducation étendue qui nous permette d'utiliser l'IA comme un outil d'équité et non comme un miroir qui amplifie le pire de notre société.
