Comment ça marche · L'IA · module en construction
Comment apprend une machine
Mis à jour le .
On dit qu'une IA « apprend ». Mais une machine n'a ni cahier ni professeur : elle ajuste des nombres. Ce module ouvre la boîte, avec de vrais petits modèles qui apprennent sous tes yeux, dans ton navigateur. Il sert à toutes les IA qui apprennent : celles qui écrivent, qui voient, qui classent, qui recommandent…
Choisis ton niveau et ta façon de lire : tu peux en changer à tout moment.
Étape 0 : Un neurone artificiel
Un neurone artificiel reçoit deux nombres, ici la couleur et la fermeté d'un fruit. Il les multiplie par ses deux « poids », ajoute un « biais », et répond 1 (mûr) si le total est positif, 0 sinon. Apprendre, c'est ajuster ces trois nombres jusqu'à ce que la ligne qui sépare les deux réponses laisse les fruits mûrs d'un côté et les autres de l'autre.
● mûr ■ pas mûr
🟢 Découverte
La pièce de base de beaucoup d'IA est le neurone artificielNeurone artificiel — Petite formule : il multiplie chacune de ses entrées par un poids, additionne, puis transforme le résultat. Des milliards de neurones, organisés en couches, forment un réseau de neurones.. C'est une petite formule : il multiplie chaque entrée par un « poids », additionne, et décide. Ici, il doit dire si un fruit est mûr d'après sa couleur et sa fermeté. Règle ses poids à la main, ou laisse-le apprendre.
🟡 Curieux
Les poids sont les paramètresParamètre — Nombre réglé pendant l'apprentissage, comme les poids des neurones. Un grand modèle de langage en compte des milliards. du modèle. Apprendre, c'est trouver de bons poids, à partir d'exemples dont on connaît la réponse. Un neurone seul ne sait tracer qu'une ligne droite entre deux catégories.
🔴 Ingénieur
Sortie = f(w₁x₁ + w₂x₂ + b). Ici, f est un seuil (1 si positif, 0 sinon) : c'est le perceptron. Sa règle d'apprentissage : pour chaque exemple mal classé, ajouter (ou retirer) un peu de l'entrée à chaque poids. Si une droite peut séparer les exemples, cette règle finit par la trouver.
Un peu d'histoire
En 1943, Warren McCulloch et Walter Pitts décrivent un neurone « logique », simple interrupteur à seuil. En 1957-1958, Frank Rosenblatt, à Cornell, invente le perceptron, l'un des premiers réseaux de neurones capables d'apprendre à partir d'exemples. Au Japon, Kunihiko Fukushima conçoit en 1979-1980 le néocognitron, inspiré du cortex visuel, précurseur des réseaux qui reconnaissent les images.
Idées reçues
« Un réseau de neurones fonctionne comme un cerveau. » Le neurone artificiel est une formule très simplifiée, à peine inspirée des neurones biologiques.
Étape 1 : Apprendre en se trompant
Apprendre, pour un réseau de neurones, c'est descendre une pente : on mesure l'erreur, on calcule dans quel sens elle diminue (la pente), et l'on fait un petit pas dans ce sens. Avec un pas de 0,3, on part de 0 et l'on se rapproche du fond (3) en une dizaine de pas. Avec un pas trop grand (2,1), on saute par-dessus le fond, de plus en plus loin.
🟢 Découverte
Au début, les poids sont pris au hasard et le modèle répond n'importe quoi. On mesure son erreur, puis on corrige un peu les poids dans le sens qui la diminue. Et on recommence, encore et encore.
🟡 Curieux
Pour savoir dans quel sens corriger, on calcule la pente de l'erreur : c'est la descente de gradientDescente de gradient — Méthode d'apprentissage : on mesure l'erreur du modèle, on calcule dans quel sens elle diminue (la pente), et l'on corrige un peu les paramètres dans ce sens. On recommence des milliards de fois.. Imagine que tu descends une colline dans le brouillard : tu tâtes le sol et tu fais un pas vers le bas. La taille du pas compte : trop petite, l'apprentissage traîne ; trop grande, il saute par-dessus le fond et s'emballe.
🔴 Ingénieur
À chaque pas : w ← w − η · ∂E/∂w, où E est l'erreur et η le taux d'apprentissage. Avec des millions de poids, la « colline » a des millions de dimensions, mais le principe est le même. En pratique, on calcule la pente sur de petits paquets d'exemples tirés au hasard : c'est la descente de gradient stochastique.
Un peu d'histoire
L'idée est ancienne. Le 18 octobre 1847, le mathématicien français Augustin-Louis Cauchy présente à l'Académie des sciences une note de deux pages : pour résoudre des équations, on part d'une valeur quelconque et l'on avance, pas à pas, dans la direction où l'erreur diminue le plus vite. Il voulait calculer des orbites d'astres, pas faire apprendre des machines, et le mot « gradient » n'apparaît pas encore.
En 1951, aux États-Unis, Herbert Robbins et Sutton Monro publient une méthode qui progresse à partir de mesures bruitées : l'ancêtre de la descente de gradient stochastique. Au Japon, Shun-ichi Amari décrit dès 1967 l'apprentissage de réseaux de neurones par gradient stochastique.
Idées reçues
« La descente de gradient trouve toujours la meilleure solution. » Elle trouve le fond le plus proche, qui n'est pas forcément le plus bas : sur une erreur en forme de paysage vallonné, elle peut s'arrêter dans un creux. L'étape suivante le montre.
Étape 2 : Plusieurs couches
Les points bleus sont en haut à gauche et en bas à droite, les orange dans les deux autres coins : c'est le « ou exclusif ». Aucune ligne droite ne les sépare, donc un seul neurone n'y arrive pas. Un réseau avec une couche de neurones « cachés » entre l'entrée et la sortie y parvient : chaque neurone caché trace sa propre droite, et le neurone de sortie les combine. L'entraînement ajuste tous les poids à la fois, en remontant l'erreur de la sortie vers l'entrée (rétropropagation).
🟢 Découverte
Un neurone seul ne trace qu'une droite. Pour séparer des points disposés en damier, ou en cercle, il en faut plusieurs, rangés en couches. Choisis le nombre de neurones « cachés » et entraîne le réseau : le fond montre sa réponse en chaque endroit.
🟡 Curieux
Chaque neurone caché trace sa propre droite ; le neurone de sortie les combine en une frontière courbe. Tous les poids sont réglés en même temps, par descente de gradient. Parfois, le réseau reste coincé dans un « creux » qui n'est pas le fond : on relance avec d'autres poids de départ.
🔴 Ingénieur
Pour connaître la pente de l'erreur par rapport à chaque poids, on utilise la rétropropagationRétropropagation — Méthode qui calcule, pour chaque paramètre d'un réseau de neurones, dans quel sens le corriger pour réduire l'erreur. On part de l'erreur à la sortie et on remonte, couche par couche, vers l'entrée. : on part de l'erreur à la sortie et on remonte, couche par couche, grâce à la règle de dérivation des fonctions composées. Ici : 2 entrées, des neurones cachés à tangente hyperbolique, une sortie sigmoïde, erreur mesurée par l'entropie croisée. Les réseaux « profonds » empilent des dizaines de couches.
Un peu d'histoire
En 1969, le livre Perceptrons de Marvin Minsky et Seymour Papert démontre qu'un perceptron à une couche ne peut pas calculer le « ou exclusif ». Des réseaux à plusieurs couches le peuvent, encore faut-il savoir les entraîner. En 1989, deux travaux indépendants (George Cybenko ; Kurt Hornik, Maxwell Stinchcombe et Halbert White) démontrent qu'une seule couche cachée suffit pour approcher n'importe quelle fonction continue, avec assez de neurones. Le théorème dit que c'est possible, pas qu'on saura l'apprendre.
La rétropropagation a été découverte plusieurs fois. On la trouve en 1970 dans le mémoire de master du Finlandais Seppo Linnainmaa (pour calculer des erreurs d'arrondi, sans lien avec les neurones) ; l'Américain Paul Werbos l'applique aux réseaux de neurones ; David Rumelhart, Geoffrey Hinton et Ronald Williams la rendent célèbre en 1986, dans la revue Nature. À Kyiv, en Ukraine soviétique, Oleksiï Ivakhnenko et Valentin Lapa entraînent dès le milieu des années 1960 des réseaux à plusieurs couches, par une autre méthode (GMDH).
Idées reçues
« Rumelhart, Hinton et Williams ont inventé la rétropropagation. » Ils l'ont popularisée pour les réseaux de neurones ; la méthode mathématique existait avant eux, découverte indépendamment par plusieurs chercheurs.
Étape 3 : Par cœur ou compris ?
Une machine apprend une courbe à partir de 8 points mesurés, un peu bruités. Un modèle trop simple (une droite) passe à côté de la forme : erreur élevée partout. Un modèle de complexité moyenne suit la tendance : erreur faible sur les points d'entraînement comme sur de nouveaux points. Un modèle très complexe passe exactement par les 8 points (erreur nulle à l'entraînement) mais ondule entre eux : sur de nouveaux points, il se trompe davantage. Il a appris « par cœur », bruit compris.
🟢 Découverte
Une machine qui a appris ses exemples par cœur n'a rien compris. Pour le savoir, on garde des exemples de côté et on lui fait passer un examen dessus. Fais varier la complexité du modèle : regarde l'erreur à l'entraînement, puis à l'examen.
🟡 Curieux
Trop simple, le modèle rate la forme : c'est le sous-apprentissage. Trop complexe, il colle à chaque point, bruit de mesure compris, et se trompe sur les nouveaux : c'est le sur-apprentissageSur-apprentissage (overfitting) — Défaut d'un modèle qui a appris ses exemples d'entraînement « par cœur », jusqu'à leurs détails accidentels : il réussit sur eux mais se trompe sur de nouveaux cas. On le repère en le testant sur des exemples mis de côté.. Le bon modèle est entre les deux, et seul l'examen permet de le trouver.
🔴 Ingénieur
On découpe les données en trois : entraînement (pour régler les poids), validation (pour choisir la complexité) et test (pour la note finale, une seule fois). Ici, le modèle est un polynôme ajusté par la méthode des moindres carrés. La validation croisée répète le découpage plusieurs fois pour ne pas dépendre d'un tirage chanceux.
Un peu d'histoire
Ajuster une courbe à des mesures est un très vieux problème, né en astronomie. En 1805, Adrien-Marie Legendre publie à Paris la méthode des moindres carrés : choisir ce qui rend « minimum la somme des quarrés des erreurs ». En 1809, Carl Friedrich Gauss publie la même méthode et affirme l'utiliser depuis 1795. La querelle n'est pas tranchée : l'historien Stephen Stigler juge probable que Gauss l'ait eue avant, sans preuve décisive.
En 1901, l'Allemand Carl Runge montre qu'un polynôme forcé de passer par des points régulièrement espacés peut osciller violemment entre eux, surtout vers les bords, et qu'ajouter des points aggrave le problème. Runge ne parlait pas d'apprentissage, mais c'est une bonne image du sur-apprentissage.
Garder des données de côté pour l'examen se pratique depuis au moins les années 1930 en statistique ; Mervyn Stone formalise la validation croisée en 1974, et Grace Wahba, avec Peter Craven, en tire en 1979 une méthode pour régler automatiquement la souplesse d'une courbe. En URSS, Vladimir Vapnik et Alexeï Tchervonenkis fondent entre 1962 et 1973 une théorie de l'apprentissage qui explique quand un modèle appris sur des exemples marche sur de nouveaux cas ; elle mène aux machines à vecteurs de support, publiées sous leur forme actuelle en 1995 par Corinna Cortes et Vladimir Vapnik, après des travaux avec Isabelle Guyon et Bernhard Boser.
Vérifie toi-même
Mets le degré au maximum, puis clique plusieurs fois sur « Autres mesures » : la courbe change complètement d'un tirage à l'autre. Un modèle qui sur-apprend est instable.
Étape 4 : Les données font le modèle
Une machine apprend à reconnaître les fruits mûrs d'après leur couleur sur une photo. Presque toutes ses photos d'entraînement ont été prises en plein soleil ; à l'ombre, les couleurs paraissent plus sombres. Résultat : elle classe très bien les fruits photographiés au soleil, mais se trompe souvent sur ceux photographiés à l'ombre, parce qu'elle n'en a presque jamais vu. Avec autant de photos d'ombre que de soleil, le même algorithme fait aussi bien pour les deux.
| Photos | Bien classées |
|---|---|
| ☀️ au soleil | |
| 🌳 à l'ombre |
● mûr ● pas mûr · ○ soleil △ ombre · plein : entraînement, creux : examen
🟢 Découverte
Une machine n'apprend que ce que montrent ses exemples. Si un cas est rare dans ses données, elle se trompera surtout sur lui. Compare : presque toutes les photos au soleil, ou autant au soleil qu'à l'ombre.
🟡 Curieux
L'algorithme est le même dans les deux cas : il cherche les 5 exemples les plus proches et suit la majorité. Seules les données changent, et donc le résultat. Une IA peut ainsi bien marcher « en moyenne » et mal pour un groupe, sans que personne l'ait voulu.
🔴 Ingénieur
Mesurer une seule précision globale cache ces écarts : il faut évaluer le modèle séparément pour chaque groupe. Rééquilibrer les données d'entraînement réduit l'écart, mais il faut d'abord savoir quels groupes regarder.
Un peu d'histoire
La règle des plus proches voisins est formulée en 1951 par deux statisticien·nes de Berkeley, Evelyn Fix et Joseph Hodges, dans un rapport pour l'armée de l'air américaine resté inédit jusqu'en 1989. Evelyn Fix, entrée au laboratoire de statistique de Berkeley en 1940, y devient professeure en 1963. En 1967, Thomas Cover et Peter Hart démontrent que cette règle simple se trompe au plus deux fois plus souvent que la meilleure règle possible, quand les exemples sont très nombreux.
En 2018, Joy Buolamwini et Timnit Gebru testent trois logiciels commerciaux qui devinent le genre (homme ou femme) d'une personne sur une photo. Ils se trompent au plus 0,8 % du temps sur les hommes à peau claire, mais jusqu'à 34,7 % du temps sur les femmes à peau foncée. Les jeux de photos de référence de l'époque comptaient de 80 à 86 % de personnes à peau claire.
Les grandes bases d'exemples ont leurs histoires : ImageNet, lancée en 2009 par l'équipe de Fei-Fei Li, compte aujourd'hui plus de 14 millions d'images, étiquetées à la main par des travailleuses et travailleurs payés à la tâche sur la plateforme Mechanical Turk.
Qui décide ?
Selon l'agence Reuters (2018, d'après cinq sources anonymes), Amazon a abandonné un outil de tri de CV qui défavorisait les candidates : il avait appris sur dix ans de CV reçus, venant surtout d'hommes. Amazon n'a pas commenté l'outil. Le règlement européen sur l'IA (2024) range l'IA utilisée pour l'emploi parmi les usages « à haut risque », soumis à des règles renforcées à partir de décembre 2027.
Idées reçues
« Une machine est neutre : elle ne fait que calculer. » Le calcul est neutre, pas les exemples. Une IA reproduit les déséquilibres de ses données, y compris ceux que personne n'a remarqués.
Trois (et demie) façons d'apprendre
Toutes les IA qui apprennent ajustent des paramètres pour réduire une erreur. Ce qui change, c'est d'où vient l'information sur l'erreur.
| Façon d'apprendre | D'où vient la correction | Exemple |
|---|---|---|
| Supervisé | Des exemples avec la bonne réponse, donnée par des humains | Le neurone et les fruits, ce module |
| Non supervisé | Aucune réponse : la machine cherche des régularités | Les k-moyennes |
| Par renforcement | Des récompenses et des pénalités, après coup | La souris dans le labyrinthe |
| Auto-supervisé | Les données elles-mêmes : on cache un morceau et on le fait deviner | Deviner le mot suivant |