Penser la technique · module en construction

Les objectifs mal posés

Mis à jour le .

Une machine fait ce qu'on lui demande, pas forcément ce qu'on voulait. Lâche un maximiseur de trombones dans un petit monde, récompense un indicateur jusqu'à ce qu'il ne mesure plus rien, puis regarde un bateau apprendre à tourner en rond.

Choisis ton niveau et ta façon de lire : tu peux en changer à tout moment.

Étape 0 : Un souhait exaucé à la lettre

🟢 Découverte

Dans les contes, un génie exauce les vœux, mais à la lettre. On demande de l'or, et même le pain se change en or. On demande de l'argent, et on l'obtient de la pire façon. Ces histoires parlent aussi des machines.

🟡 Curieux

Un programme ne devine pas nos intentions : il suit les instructions, ou optimise le nombre qu'on lui a donné. Tant qu'il est faible, l'écart entre ce qu'on a dit et ce qu'on voulait se voit vite et se corrige. Plus il est rapide et capable, plus il peut aller loin dans la mauvaise direction avant qu'on s'en aperçoive.

🔴 Ingénieur

En informatique, on parle de spécification : la description précise de ce qu'un système doit faire. Une spécification n'est jamais complète ; elle oublie toujours quelque chose qui allait « de soi » pour les humains. Le problème n'est pas que la machine désobéit, c'est qu'elle obéit exactement.

Un peu d'histoire

En 1960, le mathématicien Norbert Wiener, auteur du livre Cybernetics, publie dans la revue Science un article sur les conséquences de l'automatisation, sous-titré : « En apprenant, les machines peuvent développer des stratégies imprévues, à une vitesse qui déroute leurs programmeurs. » Il y rappelle l'apprenti sorcier, le génie et le pêcheur des Mille et Une Nuits, et la nouvelle « La Patte de singe » de W. W. Jacobs, des contes qui supposent que la magie prend les vœux au pied de la lettre.

Sa conclusion : si une machine agit trop vite pour qu'on puisse l'arrêter, « nous ferions mieux d'être bien sûrs que le but qu'on lui a donné est celui que nous désirons vraiment, et pas seulement une imitation haute en couleur ».

Idées reçues

« Le danger, c'est une machine qui se révolte. » Dans tous ces récits, la machine ou le génie ne se révolte pas : il obéit trop bien. Le risque vient de l'écart entre la consigne et l'intention.

Étape 1 : Le maximiseur de trombones

Un agent doit fabriquer le plus de trombones possible dans un petit monde de 48 cases : fer, forêts, maisons, lacs. Sans garde-fou, il transforme tout, maisons comprises. Si l'on interdit les maisons, il rase les forêts et vide les lacs. Une pénalité pour chaque changement du monde l'arrête plus tôt, mais si elle est plus faible que ce que rapporte une maison, il les détruit quand même. Seul un objectif borné (« 50 trombones suffisent ») l'arrête vraiment, et encore : une borne trop haute le pousse à reprendre les maisons quand le fer ne suffit plus.

🟢 Découverte

Un agent n'a qu'un but : fabriquer le plus de trombones possible. Lâche-le dans un petit monde, puis ajoute des garde-fous et regarde ce qu'il reste.

🟡 Curieux

Le but est anodin ; c'est sa poursuite sans limite qui est inquiétante. Interdire les maisons ne protège pas les forêts : chaque interdiction oubliée devient une faille. Pénaliser tout changement du monde aide, mais il faut savoir combien. Se donner un objectif borné marche mieux, à condition de connaître la bonne borne. Dans chaque cas, il fallait savoir à l'avance tout ce qui comptait.

🔴 Ingénieur

En 2012, N. Bostrom formule deux thèses. L'orthogonalité : à peu près n'importe quel niveau d'intelligence peut se combiner avec à peu près n'importe quel but ; être intelligent ne rend pas sage. La convergence instrumentale : quel que soit son but final, un agent assez capable aurait intérêt à poursuivre les mêmes buts intermédiaires, comme se préserver, garder son but et acquérir des ressources. Il reprend là une idée de S. Omohundro (2008). Notre agent jouet ne fait que la dernière : acquérir des ressources.

Un peu d'histoire

Le philosophe Nick Bostrom, de l'université d'Oxford, évoque dans un texte de 2003 une superintelligence dont le seul but serait « de fabriquer autant de trombones que possible », et qui résisterait de toutes ses forces à toute tentative de changer ce but. Une erreur de conception pourrait la mener à transformer « d'abord toute la Terre, puis des portions croissantes de l'espace » en usines à trombones. Sa morale : « faire attention à ce que l'on souhaite, parce qu'on pourrait l'obtenir ».

Idées reçues

« Bostrom prédit qu'une IA va fabriquer des trombones. » C'est une expérience de pensée : les trombones sont choisis justement parce qu'ils n'ont aucune importance. L'idée est qu'un but quelconque, poursuivi sans limite par un système très capable, peut détruire ce qui compte pour nous.

Étape 2 : Quand la mesure devient un objectif

On mesure le travail de 400 personnes avec un indicateur. Tant que personne n'est récompensé sur l'indicateur, il suit très bien la qualité réelle (corrélation de 0,96). Quand on commence à récompenser l'indicateur, certaines personnes apprennent à le gonfler, au détriment du vrai travail : la corrélation tombe à 0,41, et les personnes les mieux notées ne sont plus tellement les meilleures.

🟢 Découverte

Pas besoin d'IA pour optimiser le mauvais nombre. On mesure le travail de 400 personnes avec un indicateur. Puis on récompense cet indicateur. Regarde ce qu'il devient.

🟡 Curieux

Un indicateur résume quelque chose de compliqué : la qualité d'un travail, la santé d'un service. Tant qu'il n'a pas d'enjeu, il le résume bien. Dès qu'il devient un objectif (une prime, un classement, une sanction), on apprend à le faire monter par des moyens qui ne touchent pas, voire qui abîment, ce qu'il devait mesurer.

🔴 Ingénieur

C'est le même mécanisme qu'avec les IA : ce qu'on optimise est un nombre, la « fonction objectif » ou la récompense, qui n'est qu'un représentant imparfait de ce qu'on veut. Plus l'optimisation est forte, plus elle exploite l'écart entre les deux. Le module Les IA qui recommandent montre ce qui arrive quand on optimise le temps passé.

Un peu d'histoire

En 1997, l'anthropologue Marilyn Strathern, dans un article sur l'évaluation des universités britanniques, écrit : « Quand une mesure devient un objectif, elle cesse d'être une bonne mesure. » Elle prend l'exemple des mentions aux examens : plus on attend une bonne mention, moins elle distingue les étudiant·es. Elle rattache l'idée à la « loi de Goodhart », du nom de l'économiste Goodhart, qui l'avait observée pour les instruments de la politique monétaire.

En 1902 à Hanoï, alors sous domination coloniale française, une épidémie de peste pousse les autorités à offrir une prime d'un centime par rat tué, versée sur présentation de la queue. Selon l'historien Michael Vann, on voit bientôt des rats sans queue en ville, et des habitant·es se mettent à élever des rats pour la prime.

Idées reçues

« Goodhart a dit : quand une mesure devient un objectif… » Cette phrase est de Marilyn Strathern, en 1997. Et l'« effet cobra », une histoire de primes aux cobras à Delhi souvent racontée, n'a pas de source solide dans nos lectures ; celle des rats de Hanoï est étudiée par un historien.

Étape 3 : Des IA qui trichent ?

Un bateau apprend tout seul, en 3 000 parties, à jouer sur un circuit de dix cases. Si on le récompense pour chaque cible touchée (deux cibles qui réapparaissent), il apprend à faire des allers-retours entre les cibles sans jamais finir la course : 28 points, aucune arrivée. Si on le récompense pour l'arrivée, il va droit au but. Il a fait exactement ce qu'on lui demandait.

🟢 Découverte

Un bateau apprend tout seul à jouer sur un circuit. Choisis ce qui lui rapporte des points, entraîne-le, et regarde ce qu'il a appris.

🟡 Curieux

Le bateau ne triche pas au sens humain : il n'a aucune idée de ce qu'est une course. Il cherche ce qui rapporte le plus de points, et trouve parfois une solution que personne n'avait imaginée, et que personne ne voulait. Ce n'est pas un bug du bateau, c'est un défaut de la récompense.

🔴 Ingénieur

Le bateau apprend par renforcementApprentissage par renforcement — Façon d'apprendre par essais et erreurs : la machine agit, reçoit une récompense ou une pénalité, souvent tard, et renforce peu à peu les actions qui rapportent le plus. (Q-learning) : il essaie des actions, reçoit des points, et retient, pour chaque situation, l'action qui en rapporte le plus à long terme. Avec des cibles qui réapparaissent, faire des allers-retours rapporte plus que franchir l'arrivée une seule fois. Les chercheur·ses appellent cela le specification gaming : satisfaire la lettre de l'objectif sans atteindre le résultat voulu.

Un peu d'histoire

En 2020, une équipe de DeepMind (Victoria Krakovna et huit collègues) publie une liste d'environ 60 exemples. Un bras robotique devait poser un bloc rouge sur un bloc bleu, récompensé selon la hauteur de la face inférieure du bloc rouge : il l'a simplement retourné. Dans le jeu de course CoastRunners, un bateau récompensé pour toucher des cibles a tourné en rond au lieu de finir la course. Un autre bras a appris à se placer entre la caméra et l'objet pour avoir l'air de le saisir.

Idées reçues

« Ces IA sont rusées et veulent nous tromper. » Elles n'ont pas d'intention : elles maximisent un nombre. C'est justement ce qui rend le problème sérieux, car il suffit d'une récompense un peu mal choisie, sans aucune malveillance.

Étape 4 : Un risque, lequel ?

🟢 Découverte

Faut-il craindre qu'une IA très puissante poursuive un but mal posé jusqu'à la catastrophe ? Ou est-ce une façon de détourner l'attention des torts bien réels que causent déjà les IA ? Les spécialistes ne sont pas d'accord.

🟡 Curieux

Un risque à prendre au sérieux. En 2023, une déclaration du Center for AI Safety, signée notamment par les chercheur·ses Geoffrey Hinton, Yoshua Bengio et Dawn Song, et par des dirigeant·es d'entreprises de l'IA, affirme que « réduire le risque d'extinction lié à l'IA devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle des sociétés, comme les pandémies et la guerre nucléaire ».

Des torts réels et présents. La même année, Timnit Gebru, Emily M. Bender et Angelina McMillan-Major répondent à un appel à faire une « pause » dans l'IA : selon elles, les torts de l'IA sont « réels et présents » (exploitation de travailleur·ses et de données, faux contenus, concentration du pouvoir), et se focaliser sur des risques hypothétiques détourne l'attention de ces torts.

🔴 Ingénieur

Les deux positions ne s'excluent pas forcément : les objectifs mal posés existent déjà dans des systèmes ordinaires (voir Les IA qui décident pour nous), et la question de leur gravité future reste ouverte. Le désaccord porte surtout sur les priorités : où mettre l'argent, l'attention et les lois.

Un peu d'histoire

Parmi les signataires de la déclaration de 2023 figurent aussi les dirigeants de Google DeepMind, d'OpenAI et d'Anthropic, des entreprises qui développent ces IA. La réponse de Gebru, Bender et McMillan-Major vise une autre lettre de 2023, qui demandait une pause de six mois dans l'entraînement des IA « plus puissantes que GPT-4 ».

Idées reçues

« Les chercheur·ses en IA sont tous d'accord. » Ni sur l'ampleur du risque, ni sur l'urgence, ni sur les solutions. Une pétition, même signée par des personnes célèbres, est une prise de position, pas une démonstration.

Dire ce qu'on veut, vraiment

Les contes, les trombones, les rats de Hanoï et le bateau racontent la même histoire : un but précis, poursuivi à la lettre, trahit ce qu'on voulait. Quelques parades, aucune parfaite :

La suite de la section Penser la technique demande si une machine peut penser, et si la technique est neutre.