Comment ça marche · L'IA · module en construction

Les IA qui décident pour nous

Mis à jour le . Ce sujet évolue vite (true) : vérifie s'il y a du nouveau depuis cette date.

Un crédit accordé ou refusé, un dossier d'allocations contrôlé, une détention prolongée : des scores calculés pèsent sur ces décisions. Règle une grille de crédit, cherche une équité impossible entre deux groupes, puis regarde une boucle de contrôles se refermer.

Choisis ton niveau et ta façon de lire : tu peux en changer à tout moment.

Étape 0 : Un score qui décide

Une grille de score additionne des points : le revenu et l'ancienneté dans l'emploi en ajoutent, l'endettement et les incidents de paiement en retirent, l'apport en ajoute. Au-dessus de 500 points, le crédit est accordé. Un dossier à 494 points est refusé ; l'explication contrefactuelle dit ce qui aurait suffi : 5 points d'endettement en moins, ou 5 points d'apport en plus. Certains critères, comme un incident de paiement passé, ne se changent pas.

🟢 Découverte

Pour accorder un crédit, un prêteur peut calculer un score : ici, une grille inventée qui ajoute ou retire des points selon ta situation. Règle le dossier et regarde la décision, point par point.

🟡 Curieux

La plupart des algorithmes qui décident pour nous ne sont pas des IA spectaculaires, mais des calculs assez simples : une somme de points, une régression logistiqueRégression logistique — Méthode statistique qui calcule une probabilité à partir d'une somme pondérée de critères : chaque critère a un coefficient, positif ou négatif, qu'on peut lire. Elle sert souvent à calculer des scores de risque.. Ils sont lisibles, à condition qu'on les montre. Et une explication utile ne détaille pas forcément tout le calcul : elle peut dire ce qu'il aurait fallu changer pour obtenir une autre décision.

🔴 Ingénieur

C'est l'idée des explications contrefactuelles, proposées en 2017 par S. Wachter, B. Mittelstadt et C. Russell : sans ouvrir la boîte noire, dire à la personne ce qui l'aurait fait passer de l'autre côté du seuil. Elles servent trois buts : comprendre la décision, pouvoir la contester, savoir quoi changer. Elles ont une limite : certains critères ne se changent pas, comme un incident de paiement passé.

Un peu d'histoire

En décembre 2023, la Cour de justice de l'Union européenne juge, à propos de la société allemande SCHUFA, que le calcul automatisé d'un score de solvabilité est déjà une « décision individuelle automatisée » au sens du RGPD, dès lors qu'une banque s'y fie de manière déterminante pour accorder ou refuser un crédit. Le module Les IA qui classent détaille l'article 22 du RGPD.

Idées reçues

« Un algorithme ne peut pas discriminer : il ne fait que des calculs. » Il calcule à partir des critères qu'on lui donne et des données du passé. Si ces critères suivent de près une situation sociale, ou si le passé était inégal, le calcul reproduit l'inégalité, sans jamais nommer personne.

Étape 1 : Juste, mais selon quelle définition ?

Deux groupes de 4 000 personnes ; l'événement à prédire touche 30 % du premier et 50 % du second. Avec le même seuil, le score a à peu près la même valeur prédictive dans les deux groupes (une personne signalée a une chance comparable d'être concernée), mais une personne non concernée du deuxième groupe a trois fois plus de risques d'être signalée à tort. Si l'on change les seuils pour égaliser les erreurs, la valeur prédictive se sépare. Tant que les taux de base diffèrent, on ne peut pas tout égaliser à la fois : il faut choisir quelle équité on veut.

🟢 Découverte

Un score prédit un risque pour deux groupes qui ne sont pas touchés au même taux. Règle les seuils et essaie de rendre le score juste pour les deux groupes, selon toutes les définitions à la fois.

🟡 Curieux

On peut vouloir qu'une personne signalée « à risque » ait la même chance d'être vraiment concernée, quel que soit son groupe. On peut aussi vouloir qu'une personne non concernée ait la même chance d'être signalée à tort. Les deux semblent justes. Mais quand les deux groupes n'ont pas le même taux de base, on ne peut pas avoir les deux : il faut choisir, et ce choix est politique, pas technique.

🔴 Ingénieur

A. Chouldechova montre en 2017 qu'avec une prévalence p, une valeur prédictive positive VPP et un taux de faux négatifs TFN, le taux de faux positifs vaut TFP = p/(1−p) × (1−VPP)/VPP × (1−TFN). Si la VPP et le TFN sont égaux entre deux groupes de prévalences différentes, leurs TFP ne peuvent pas l'être. J. Kleinberg, S. Mullainathan et M. Raghavan prouvent un résultat voisin la même année : sauf cas très particuliers, trois conditions d'équité ne peuvent pas être satisfaites ensemble.

Un peu d'histoire

En mai 2016, le média d'enquête américain ProPublica analyse COMPAS, un score de risque de récidive vendu par l'entreprise Northpointe et utilisé par des tribunaux, sur plus de 10 000 personnes du comté de Broward, en Floride. Le score a raison à peu près aussi souvent pour les prévenu·es noir·es et blanc·hes, mais il se trompe différemment : parmi celles et ceux qui n'ont pas récidivé, 45 % des Noir·es avaient été classé·es à plus haut risque, contre 23 % des Blanc·hes. La race ne fait pas partie des 137 questions.

Northpointe conteste l'analyse : son score a la même valeur prédictive pour les deux groupes, ce qu'elle considère comme le bon critère d'équité. Les deux constats sont exacts en même temps ; c'est précisément ce que démontrent ensuite Chouldechova et Kleinberg.

Idées reçues

« Il suffit de retirer la couleur de peau ou le sexe des données. » COMPAS ne posait aucune question sur la race. D'autres critères (quartier, emploi, antécédents de l'entourage) peuvent la refléter en partie, et les taux de base différents suffisent à créer le dilemme.

Étape 2 : Qui est contrôlé ?

Deux groupes de dossiers ont exactement le même taux d'erreurs, 8 %. Le groupe B représente 40 % des dossiers, mais l'historique lui a consacré 60 % des contrôles. Un modèle qui compte les erreurs trouvées sur l'ensemble des dossiers (un dossier jamais contrôlé compte comme sans erreur) croit que B fait 2,7 fois plus d'erreurs, et continue de lui envoyer 60 % des contrôles. Un modèle qui compte les erreurs parmi les seuls dossiers contrôlés retrouve vite la réalité. Des contrôles tirés au hasard corrigent lentement le premier modèle.

🟢 Découverte

Une caisse d'allocations veut cibler ses contrôles sur les dossiers où une erreur est la plus probable. Mais elle ne sait si un dossier contient une erreur que si elle l'a contrôlé. Regarde ce que cela change.

🟡 Curieux

Un groupe plus contrôlé dans le passé a plus d'erreurs trouvées, même s'il n'en fait pas plus. Un modèle qui confond « erreur trouvée » et « erreur commise » le jugera plus risqué, le contrôlera encore plus, et confirmera ainsi sa propre idée. C'est une boucle, comme celle de la popularité dans Les IA qui recommandent. Les contrôles tirés au hasard servent justement à mesurer la réalité.

🔴 Ingénieur

C'est un piège bien connu des statisticien·nes : on ne connaît la bonne réponse que pour les dossiers sur lesquels on a agi. Pour estimer un taux d'erreurs sans biais, il faut le calculer sur un échantillon représentatif, par exemple des contrôles au hasard. L'animation est une simulation générale : elle ne décrit pas l'algorithme d'un organisme réel.

Un peu d'histoire

En France, les Caisses d'allocations familiales utilisent depuis au moins 2010 un algorithme qui attribue un score aux dossiers pour cibler une partie des contrôles. En novembre 2023, l'association La Quadrature du Net publie le code de deux anciennes versions (2010-2018), obtenu après des mois de demandes : parmi les critères qui augmentaient le score figuraient de faibles revenus, le chômage, le RSA ou le fait de toucher l'allocation aux adultes handicapés tout en travaillant. Le 16 octobre 2024, quinze organisations, dont Amnesty International France et la Fondation Abbé Pierre, saisissent le Conseil d'État au nom de la protection des données et de la non-discrimination.

En janvier 2026, la Caisse nationale (CNAF) met en service un nouveau modèle et publie, pour la première fois, son code source. Elle explique avoir écarté la nationalité, le genre, l'adresse, le lieu de résidence et les données de « comportement », mais garder la situation économique, jugée « inévitable ». Selon elle, le modèle vise les trop-perçus de plus de 600 € sur six mois, sert à moins de 1 % des 31,5 millions de contrôles de 2024, et « la décision d'un contrôle reste humaine ». État au 29 octobre 2026 : aucune décision du Conseil d'État n'a été trouvée sur le recours.

Aux Pays-Bas, un système de détection des fraudes aux allocations de garde d'enfants, qui utilisait la nationalité, a conduit à accuser à tort des dizaines de milliers de familles ; le gouvernement a démissionné en 2021. Le module Les IA qui classent raconte cette affaire.

Idées reçues

« Ce sont les plus contrôlé·es qui fraudent le plus, les chiffres le prouvent. » Les chiffres de contrôles montrent où l'on a cherché. Un indu (un trop-perçu) n'est pas non plus une fraude : la CNAF elle-même parle d'erreurs à corriger, la réglementation étant « parfois complexe ».

Étape 3 : Le droit de comprendre

🟢 Découverte

Quand un algorithme a pesé sur une décision qui te concerne, tu as des droits : savoir qu'il a été utilisé, demander comment, et parfois refuser qu'une machine décide seule.

🟡 Curieux

  • Face à l'administration française : si un traitement algorithmique a fondé une décision individuelle te concernant, tu peux demander les règles qui le définissent et les principales caractéristiques de sa mise en œuvre. Les administrations doivent aussi publier les règles de leurs principaux algorithmes.
  • Face à toute organisation, en Europe : le RGPD te donne le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé qui t'affecte de manière importante, sauf exceptions, avec alors le droit d'obtenir une intervention humaine et de contester.
  • Pour les systèmes d'IA à haut risque : le règlement européen sur l'IA impose des obligations aux systèmes qu'il classe à haut risque, dont ceux de recrutement ; pour ces derniers (son annexe III), elles s'appliqueront à partir du 2 décembre 2027.

🔴 Ingénieur

Ces droits s'arrêtent parfois aux secrets protégés par la loi. Pour Parcoursup, la loi dispensait les établissements de communiquer leurs outils d'aide à la décision, au nom du secret des délibérations. Le Conseil constitutionnel a jugé en 2020 que cette dispense était conforme, à une condition : chaque établissement doit publier, après la procédure, les critères d'examen des candidatures, en précisant « dans quelle mesure des traitements algorithmiques ont été utilisés ».

Un peu d'histoire

Ces droits figurent dans le code des relations entre le public et l'administration (articles L. 311-3-1 et L. 312-1-3), dans le RGPD (règlement européen de 2016) et dans le règlement européen sur l'IA (2024, calendrier modifié en 2026). La décision Parcoursup du Conseil constitutionnel date du 3 avril 2020.

Idées reçues

« On ne peut rien savoir, c'est un secret de fabrication. » Face à l'administration, les règles d'un algorithme qui a fondé une décision te concernant peuvent être demandées, et la CNAF a fini par publier son code. Le secret existe, mais il n'est pas la règle.

Cinq questions à poser à un algorithme qui décide

  1. Qui décide vraiment ? Le score décide-t-il seul, ou une personne peut-elle s'en écarter, et le fait-elle ?
  2. Avec quelles données ? Lesquelles suivent de près une situation sociale, une origine, un handicap ?
  3. Juste selon quelle définition ? Même valeur prédictive, mêmes erreurs : on ne peut pas toujours tout avoir.
  4. Apprend-il de ses propres choix ? Un modèle qui ne voit que ce qu'il a contrôlé peut s'auto-confirmer.
  5. Peut-on comprendre et contester ? Règles publiées, explication, recours humain.

Ces questions valent pour une grille de points comme pour un réseau de neurones. Le reste de la section L'IA montre comment ces modèles apprennent.