Comment ça marche · L'intelligence collective · module en construction
L'IA, fruit d'une intelligence collective
Mis à jour le . Ce sujet évolue vite (true) : vérifie s'il y a du nouveau depuis cette date.
Une IA qui écrit n'a rien inventé seule : elle a lu des textes écrits par des millions de personnes, et d'autres personnes lui ont appris ce qu'est une bonne réponse. Tire des exemples d'entraînement, déchiffre un mot avec des internautes, puis apprends à une IA ce que tu préfères.
Choisis ton niveau et ta façon de lire : tu peux en changer à tout moment.
Étape 0 : Des milliards de pages
GPT-3 a été entraîné sur cinq sources. Le web filtré (Common Crawl) représente 410 milliards de tokens, 82 % du volume, mais seulement 60 % des exemples d'entraînement. Wikipédia ne fait que 3 milliards de tokens, moins de 1 % du volume, mais 3 % des exemples : elle a été vue 3,4 fois pendant l'entraînement, alors que le web filtré n'a même pas été vu une fois en entier (0,44 fois). Les créateurs ont choisi de donner plus de poids aux sources qu'ils jugeaient de meilleure qualité.
Barre grise : part du volume de données. Barre de couleur : part des exemples d’entraînement.
Chiffres du tableau 2.2 de l'article de GPT-3 (Brown et al., 2020). Les exemples tirés sont simulés.
🟢 Découverte
Pour apprendre à écrire, un modèle de langage lit d'énormes quantités de textes. D'où viennent-ils ? Regarde le mélange qui a servi à entraîner GPT-3 en 2020, et tire des exemples au hasard.
🟡 Curieux
Pages web, articles d'encyclopédie, livres : chaque exemple d'entraînement est un morceau de texte écrit par quelqu'un, qui ne savait pas qu'il servirait à entraîner une IA. Le mélange n'est pas neutre : les créateurs de GPT-3 ont fait relire plusieurs fois les sources qu'ils jugeaient de meilleure qualité, comme Wikipédia, et moins d'une fois le web filtré.
🔴 Ingénieur
Les quantités sont comptées en tokensToken — Morceau de texte (un mot courant, un bout de mot, un signe) que le modèle de langage manipule sous forme de numéro. Les modèles lisent et écrivent token par token., des morceaux de mots. Le « poids dans le mélange » est la part des exemples d'entraînement tirés de chaque source, volontairement différente de sa part du volume. Avec 300 milliards de tokens d'entraînement, Wikipédia (3 milliards) est vue 3,4 fois, le web filtré (410 milliards) 0,44 fois. Ce web filtré vient de Common Crawl : 45 To de texte compressé avant filtrage, 570 Go après.
Un peu d'histoire
Common Crawl est une association à but non lucratif créée en 2007. Elle archive le web et met ses données à disposition de toutes et tous : plus de 300 milliards de pages, et 3 à 5 milliards de pages ajoutées chaque mois. Plus de 10 000 articles de recherche la citent.
Le module Les IA qui écrivent montre ce qu'un modèle fait de ces textes ; Construire ensemble raconte comment Wikipédia s'écrit, et qui l'écrit.
Idées reçues
« Wikipédia représente 3 % de ce que sait GPT-3. » Les 3 % sont une part des exemples d'entraînement, pas du volume de données, où Wikipédia pèse moins de 1 %. Et ce qu'un modèle « sait » ne se découpe pas source par source.
Étape 1 : Un mot pour un livre
Un mot mal imprimé dans un vieux livre : deux logiciels de reconnaissance de caractères le lisent différemment. Il est montré à des internautes, à côté d'un mot de contrôle déjà connu. Chaque réponse humaine compte pour une voix, chaque lecture d'un logiciel pour une demi-voix ; le mot est retenu dès qu'une lecture atteint deux voix et demie. La plupart du temps, deux personnes suffisent, quand elles confirment la lecture d'un des logiciels.
Règle de vote de l'article de 2008. Mots, fautes et lectures inventés : chaque personne lit juste 92 fois sur 100, le premier logiciel 80 fois sur 100.
🟢 Découverte
Pour prouver qu'on n'est pas un robot, on a longtemps recopié deux mots déformés. L'un d'eux servait à numériser de vieux livres. Regarde comment des inconnu·es, sans se concerter, se mettent d'accord sur un mot.
🟡 Curieux
L'un des deux mots est déjà connu : si tu le tapes juste, tu es sans doute humain·e, et ta réponse pour l'autre mot devient un vote. Ce second mot vient d'un livre numérisé que deux logiciels de reconnaissance de caractères n'ont pas su lire. Plusieurs votes concordants, et le mot est déchiffré. Des millions de personnes ont ainsi transcrit des livres sans le savoir.
🔴 Ingénieur
La règle publiée : une réponse humaine vaut une voix, la lecture de chaque logiciel une demi-voix ; un mot est retenu dès qu'une lecture atteint 2,5 voix. Deux personnes qui confirment un logiciel suffisent ; trois personnes d'accord contre les deux logiciels aussi. Un mot rejeté par six personnes est abandonné comme illisible. Les mots de contrôle sont tirés de façon à ce qu'un programme qui devine au hasard ne réussisse qu'une fois sur 100 000.
Un peu d'histoire
En 2008, L. von Ahn et ses collègues de l'université Carnegie-Mellon décrivent reCAPTCHA dans la revue Science. Plus de 100 millions de CAPTCHA sont alors tapés chaque jour dans le monde. reCAPTCHA est déployé sur plus de 40 000 sites et a déjà transcrit plus de 440 millions de mots, tirés des archives du New York Times et de livres de l'Internet Archive, avec une précision de plus de 99 %.
Idées reçues
« Luis von Ahn a inventé le CAPTCHA tout seul. » Le CAPTCHA est issu de travaux antérieurs, menés notamment avec Manuel Blum, co-auteur de l'article de 2008. L'idée nouvelle de reCAPTCHA était de faire servir cet effort à quelque chose.
Étape 2 : Étiqueter le monde
🟢 Découverte
Pour qu'une IA reconnaisse un chat sur une photo, il a fallu que des personnes écrivent « chat » sous des milliers de photos. Pour qu'elle repère un message haineux, il a fallu que d'autres en lisent et en classent. Qui fait ce travail, et à quel prix ?
🟡 Curieux
Ce travail d'annotationAnnotation (des données) — Travail qui consiste à étiqueter des exemples pour qu'une IA puisse en apprendre : écrire « chat » sous une photo, classer un message comme haineux ou non, comparer deux réponses. Il est souvent fait par des personnes payées à la tâche. est découpé en micro-tâches payées à la pièce, souvent sous-traitées dans des pays où les salaires sont bas. Il est indispensable, mais rarement visible : on parle de « travail fantôme » ou de travail du clic. Il peut aussi être éprouvant, quand il faut lire ou regarder des contenus violents pour apprendre à une IA à les filtrer.
🔴 Ingénieur
Les chiffres de salaire sont difficiles à comparer : ils viennent tantôt d'enquêtes de journalistes, tantôt des entreprises elles-mêmes, et dépendent du coût de la vie local. Selon des moyennes de l'Organisation internationale du travail citées par des chercheur·ses, le travail de données en ligne paie en moyenne 3,3 dollars de l'heure, contre 7,6 pour l'ensemble des indépendant·es en ligne.
| Où | Ce qui a été rapporté | Réponse |
|---|---|---|
| Kenya (TIME, 2023) | Des employé·es de Sama à Nairobi classent des textes violents et abusifs pour OpenAI, pour environ 1,32 à 2 dollars nets de l'heure ; OpenAI payait Sama 12,50 dollars de l'heure. | Sama conteste : 1,46 à 3,74 dollars nets de l'heure. OpenAI dit ne pas avoir fixé d'objectifs de productivité. Sama a mis fin au contrat en février 2022. |
| Venezuela (MIT Technology Review, 2022) | Pendant la crise économique, environ 200 000 Vénézuélien·nes sont inscrit·es sur deux plateformes d'annotation en 2018 (estimation d'un chercheur). Scale AI annonce elle-même une moyenne d'un peu plus de 90 centimes de l'heure. | Appen et Scale AI disent payer de façon « équitable », adaptée au salaire minimum local. |
| Madagascar (A. Casilli et al., 2023-2025) | 147 entretiens et 296 questionnaires : de petites entreprises locales annotent des données pour des start-up françaises, dans la continuité des centres d'appels. | Étude universitaire. |
Un peu d'histoire
En 2009, la base d'images ImageNet est présentée avec 3,2 millions d'images ; elle en compte aujourd'hui plus de 14 millions, rangées dans près de 22 000 catégories. Les images ont été étiquetées grâce à Amazon Mechanical Turk, « une plateforme en ligne où l'on peut proposer des tâches à des utilisateur·rices qui sont payé·es pour les faire ». Le module Les IA qui voient montre à quoi servent ces étiquettes.
En 2019, l'anthropologue M. L. Gray et l'informaticien S. Suri publient Ghost Work, issu de cinq ans d'enquête aux États-Unis et en Inde sur ces travailleur·ses invisibles. En France, l'équipe d'A. A. Casilli étudie ce travail jusqu'à Madagascar.
Idées reçues
« L'IA apprend toute seule. » Elle apprend à partir d'exemples, et une grande partie de ces exemples a été préparée, triée ou corrigée par des personnes. Leur nom n'apparaît nulle part, et leurs conditions de travail sont rarement connues.
Étape 3 : Préférer une réponse
Cinq réponses à « Pourquoi le ciel est-il bleu ? ». Des annotateur·rices les comparent deux par deux, et un modèle en déduit un score pour chaque réponse : c'est ce score que l'IA apprendra ensuite à maximiser. Si les annotateur·rices vérifient l'exactitude, les réponses justes gagnent ; si une majorité aime les réponses détaillées, la réponse détaillée monte. Si personne n'a le temps de vérifier, une réponse fausse mais flatteuse peut l'emporter : le modèle apprend ce que préfèrent celles et ceux qui l'annotent, pas forcément ce qui est vrai.
400 comparaisons simulées ; chacun de tes choix compte comme 20 comparaisons. Score : modèle de Bradley-Terry ajusté dans ton navigateur.
🟢 Découverte
Après avoir lu des milliards de textes, un modèle sait continuer une phrase, pas forcément répondre utilement. Des personnes comparent alors ses réponses deux par deux. Joue les annotateur·rices, et regarde ce que le modèle apprend.
🟡 Curieux
Chaque comparaison dit seulement « celle-ci plutôt que celle-là ». À partir de milliers de comparaisons, un second modèle apprend à donner un score à n'importe quelle réponse ; puis l'IA est entraînée à produire des réponses à haut score. Elle apprend donc les goûts de celles et ceux qui ont comparé : leur préférence pour le détail ou la concision, mais aussi leurs oublis, si elles et ils n'avaient pas le temps de vérifier.
🔴 Ingénieur
C'est l'apprentissage par renforcement à partir de retours humains (en anglais RLHF). Le modèle de score, ou « modèle de récompense », suppose que la probabilité de préférer A à B vaut 1 / (1 + escore(B) − score(A)) : c'est le modèle de Bradley-Terry, ajusté ici dans ton navigateur. L'IA est ensuite entraînée par apprentissage automatiqueApprentissage automatique (machine learning) — Branche de l'IA où la machine n'applique pas des règles écrites à la main : elle les déduit d'exemples. Avec des exemples corrigés (supervisé), sans étiquettes (non supervisé) ou par essais et récompenses (par renforcement). à produire des réponses à haut score.
Un peu d'histoire
En 2017, des chercheur·ses d'OpenAI et de DeepMind montrent qu'on peut apprendre des comportements à une IA à partir de préférences humaines entre deux extraits, avec un retour humain sur moins de 1 % des essais. Leur article s'appuie sur des travaux plus anciens d'apprentissage à partir de retours humains.
En 2022, OpenAI décrit InstructGPT : « une équipe d'environ 40 sous-traitant·es » recrutée via Upwork et Scale AI compare les réponses. Les réponses d'un modèle de 1,3 milliard de paramètres ainsi entraîné sont préférées à celles de GPT-3, cent fois plus gros. Parmi les 19 annotateur·rices qui ont répondu à une enquête volontaire, les nationalités les plus représentées sont philippine et bangladaise (22 % chacune), puis américaine (17 %). Les auteur·rices l'écrivent : le modèle est aligné sur « les démonstrations et les préférences fournies par nos annotateur·rices ».
Idées reçues
« L'IA est alignée sur les valeurs humaines. » Elle est alignée sur les préférences d'un groupe précis de personnes, dans des conditions précises : quelques dizaines d'annotateur·rices, d'accord entre elles et eux environ trois fois sur quatre.
Étape 4 : L’IA médiatrice ?
🟢 Découverte
Et dans l'autre sens ? Une IA nourrie par l'intelligence collective peut-elle aider des groupes humains à se mettre d'accord ? Une expérience l'a testé.
🟡 Curieux
Dans l'expérience, de petits groupes donnent leur avis sur une question de société, et une IA rédige des synthèses de leurs avis. Les participant·es ont préféré les synthèses de l'IA à celles de médiateur·rices humain·es, et leurs avis se sont rapprochés. Les synthèses préférées intégraient les voix minoritaires tout en respectant la position majoritaire.
🔴 Ingénieur
C'est le même but que Polis ou les notes de la communauté du module Délibérer avec des algorithmes : trouver ce qui peut faire accord. Mais au lieu de compter des votes, l'IA rédige un texte, ce qui rend le résultat plus lisible et plus difficile à vérifier.
Un peu d'histoire
En 2024, une équipe de Google DeepMind publie dans Science une étude sur cette « machine de Habermas », du nom du philosophe de la délibération. 5 734 personnes au Royaume-Uni y ont participé ; les synthèses de l'IA ont été jugées plus informatives, plus claires et moins biaisées. L'expérience a été reproduite dans une assemblée citoyenne virtuelle représentative.
Les limites sont réelles, et l'un des auteurs, M. H. Tessler, les reconnaît : l'IA ne sait pas vérifier les faits, ramener la discussion au sujet ou modérer les échanges. Les groupes étaient petits (5 ou 6 personnes), le modèle n'est pas public, et l'étude a été menée par l'entreprise qui développe l'outil.
Idées reçues
« L'IA va remplacer les médiateur·rices. » L'étude montre que ses synthèses plaisent dans un cadre précis, pas qu'elle sait mener un débat. Elle peut aider des humain·es qui animent une délibération, à condition de savoir qui l'a entraînée, et sur quoi.
Qui fait l'IA ?
Derrière chaque réponse d'une IA, il y a le travail de millions de personnes, presque toujours anonymes.
| Qui | Ce qu'elles et ils apportent | Le savent-ils ? |
|---|---|---|
| Les auteur·rices du web, de Wikipédia, des livres | Les textes dont le modèle apprend la langue et les connaissances. | Rarement : ces textes ont été écrits pour d'autres lecteur·rices. |
| Les internautes des reCAPTCHA | Des millions de mots déchiffrés. | Souvent pas : il s'agissait de prouver qu'on n'est pas un robot. |
| Les annotateur·rices | Les étiquettes, les tris, le filtrage des contenus violents. | Oui, mais leur travail reste invisible, souvent mal payé. |
| Les comparateur·rices de réponses | Les préférences qui façonnent le ton et les priorités de l'IA. | Oui ; ce sont quelques dizaines de personnes pour des millions d'utilisateur·rices. |
C'est le dernier module de la section L'intelligence collective : la sagesse des foules, les communs, la délibération, et maintenant l'IA. À chaque fois, la même leçon : un collectif est intelligent quand ses membres sont variés, indépendants et reconnus, et quand les règles qui les rassemblent sont connues.