Penser la technique · module en construction
Les choix moraux
Mis à jour le .
Faut-il dévier un tramway pour sauver cinq personnes au prix d'une ? Et une voiture autonome, qui doit-elle épargner ? Réponds, compare-toi à 70 000 personnes de 42 pays, puis choisis la règle d'un algorithme sans savoir quelle place sera la tienne.
Choisis ton niveau et ta façon de lire : tu peux en changer à tout moment.
Étape 0 : Le dilemme du tramway
Un tramway fou fonce vers cinq personnes. Dans la première version, tu peux actionner un aiguillage : il part sur une autre voie et tue une personne. Dans la deuxième, la voie forme une boucle : le corps de la personne arrête le tramway. Dans la troisième, tu peux pousser quelqu'un d'une passerelle pour l'arrêter. Le calcul est le même (une vie contre cinq), mais dans 42 pays, 81 % des gens en moyenne acceptent l'aiguillage, 72 % la boucle, et seulement 51 % la passerelle.
Chiffres : moyenne par pays de 70 000 réponses dans 42 pays et 10 langues (Awad et al., 2020). Tes réponses restent dans ton navigateur.
🟢 Découverte
Un tramway fou fonce vers cinq personnes. Tu peux agir, et une autre personne mourra. Réponds aux trois versions du dilemme.
🟡 Curieux
Dans les trois cas, le calcul est le même : une vie contre cinq. Pourtant, la plupart des gens acceptent d'actionner l'aiguillage, beaucoup moins de pousser quelqu'un. Ce qui change : être la cause directe, toucher la personne, l'utiliser comme un moyen pour arrêter le tramway. Le dilemme sert à mettre à l'épreuve nos principes : compter les vies, ou respecter des interdits ?
🔴 Ingénieur
Les philosophes y voient la tension entre deux grandes familles de théories. Pour les conséquentialistes, seul compte le résultat : cinq vies valent plus qu'une. Pour les déontologistes, certains actes sont interdits quel que soit le résultat, comme tuer quelqu'un pour s'en servir. La « doctrine du double effet », discutée par Philippa Foot, distingue ce qu'on veut et ce qu'on prévoit seulement.
Un peu d'histoire
La philosophe Philippa Foot imagine le cas du tramway en 1967, dans un article sur la doctrine du double effet. La philosophe Judith Jarvis Thomson le reprend et le prolonge, notamment dans un article de 1985 intitulé « The Trolley Problem ». Deux femmes sont donc à l'origine de l'une des expériences de pensée les plus célèbres de la philosophie.
En 2020, Edmond Awad et ses collègues publient les réponses de 70 000 personnes, dans 10 langues et 42 pays, à trois versions du dilemme. Partout, l'ordre est le même : aiguillage (81 % d'acceptation en moyenne), boucle (72 %), passerelle (51 %). Mais les niveaux varient beaucoup d'un pays à l'autre, et le sacrifice est plus souvent rejeté là où les gens doivent davantage ménager des relations qu'ils ne peuvent pas facilement changer, notamment dans des pays d'Asie de l'Est.
Idées reçues
« Le dilemme du tramway a une bonne réponse, qu'il suffit de trouver. » Il sert à révéler nos principes et leurs contradictions, pas à trancher. Et nos réponses varient avec des détails qui ne changent pas le nombre de vies.
Étape 1 : Moral Machine
Une voiture autonome sans freins doit choisir. Entre des humains et des animaux, la foule de Moral Machine et la commission d'éthique allemande s'accordent : épargner les humains. Entre une personne et plusieurs, la foule veut sauver le plus grand nombre, et la commission juge qu'un programme qui réduit le nombre de victimes « peut se justifier ». Mais entre une personne âgée et un enfant, la foule préfère épargner l'enfant, alors que la commission interdit toute distinction selon l'âge : les préférences majoritaires ne font pas une règle.
| Dilemme | Toi | Moral Machine (la foule) | Commission allemande |
|---|
Moral Machine : préférences moyennes de millions de volontaires en ligne (Awad et al., 2018). Commission : règles 7 et 9 de son rapport de juin 2017.
🟢 Découverte
Une voiture autonome sans freins doit choisir qui épargner. Fais tes choix, puis compare-les à ceux de millions de personnes, et aux règles d'une commission d'éthique.
🟡 Curieux
Demander à la foule ce qu'une voiture devrait faire semble démocratique. Mais une préférence majoritaire n'est pas forcément juste : la plupart des gens préfèrent épargner un enfant plutôt qu'une personne âgée, et une commission d'éthique a jugé qu'une machine ne devait faire aucune distinction de ce genre. Faut-il programmer les machines selon les préférences de la majorité, ou selon des principes ?
🔴 Ingénieur
La commission allemande insiste : les systèmes doivent d'abord être conçus pour éviter les accidents, et les vrais dilemmes, une vie contre une autre, « ne peuvent pas être clairement standardisés », car ils dépendent de la situation précise et de comportements imprévisibles. Programmer une préférence générale (épargner les jeunes, par exemple) revient à décider à l'avance qui vaut plus que qui.
Un peu d'histoire
En 2018, Edmond Awad et ses collègues publient dans Nature les résultats de Moral Machine, une expérience en ligne : 40 millions de décisions, dans dix langues, venues de 233 pays et territoires. Les préférences les plus fortes : épargner des humains plutôt que des animaux, le plus grand nombre, les jeunes plutôt que les personnes âgées. Les pays se regroupent en trois ensembles culturels, « occidental », « oriental » et « méridional », aux préférences plus ou moins marquées. Edmond Awad le précise lui-même : on ne sait pas encore comment les voitures devraient en tenir compte.
Un an plus tôt, en juin 2017, une commission d'éthique nommée par le ministre allemand des Transports publie vingt règles pour la conduite automatisée. La règle 7 fait primer la vie humaine sur les animaux et les biens. La règle 9 interdit, en cas d'accident inévitable, « toute distinction fondée sur des caractéristiques personnelles (âge, sexe, constitution physique ou mentale) », tout en admettant qu'un programme qui réduit le nombre de victimes « peut se justifier ».
Idées reçues
« Moral Machine montre ce que les gens pensent vraiment. » Ce sont des volontaires, en ligne, devant des choix forcés et simplifiés : pas un échantillon représentatif de la population mondiale. Le jeu est dans la page Jeux, avec cet avertissement.
Étape 2 : Le voile d’ignorance
Un algorithme va répartir des ressources entre cinq places, selon une règle que tu choisis sans savoir quelle place sera la tienne. La règle « le plus au total » donne 55 parts en tout, mais seulement 2 à la place la moins bien lotie. La règle « le mieux pour la moins bien lotie » donne 47 parts en tout, et au moins 8 à chacune. L'égalité stricte donne 7 à chacune. Derrière le voile, selon le philosophe John Rawls, on choisirait la deuxième : elle protège le mieux celle ou celui qui aura la pire place.
Parts inventées. Chaque levée du voile te place au hasard sur l'une des cinq places.
🟢 Découverte
Un algorithme va répartir des ressources entre cinq places. Tu choisis la règle, mais tu ne sais pas encore quelle place sera la tienne. Laquelle choisis-tu ?
🟡 Curieux
Quand on sait qu'on sera bien placé·e, on choisit volontiers une règle qui avantage les mieux placé·es. L'idée du voile d'ignorance : choisir les règles comme si l'on pouvait se retrouver n'importe où, à la meilleure comme à la pire place. C'est une façon de penser l'équité d'un système, y compris d'un algorithme, sans savoir qui il avantagera.
🔴 Ingénieur
La règle « le plus au total » maximise la moyenne : c'est un critère utilitariste. Rawls défend, derrière le voile, le critère du « maximin » : choisir la règle dont la pire place est la meilleure possible. Son principe de différence admet des inégalités, mais seulement si elles améliorent le sort des plus défavorisé·es. Les modules Les IA qui décident pour nous et Délibérer avec des algorithmes montrent ces choix dans de vrais systèmes.
Un peu d'histoire
Le philosophe John Rawls propose la « position originelle » et le « voile d'ignorance » dans Théorie de la justice, en 1971 : des personnes libres et égales choisissent les principes de justice sans connaître leurs caractéristiques personnelles, leur conception du bien ni leur situation sociale.
Idées reçues
« Être juste, c'est donner exactement la même chose à tout le monde. » Pour Rawls, une inégalité peut être juste si elle profite aussi aux plus défavorisé·es. Dans l'animation, l'égalité stricte laisse la place la moins bien lotie plus pauvre que la règle du maximin.
Qui décide de la morale des machines ?
| Méthode | Ce qu'elle apporte | Sa limite |
|---|---|---|
| Les expériences de pensée (tramway) | Révéler nos principes et leurs contradictions. | Des situations simplifiées, rares dans la réalité. |
| Demander à la foule (Moral Machine) | Connaître les préférences, et leurs variations entre cultures. | Une préférence majoritaire n'est pas une règle juste. |
| Des principes fixés par une commission | Protéger contre des discriminations, même voulues par la majorité. | Les vrais dilemmes ne se standardisent pas. |
| Le voile d'ignorance | Choisir des règles sans savoir qui elles avantagent. | On ne sait jamais vraiment s'abstraire de sa place. |
La suite de la section Penser la technique demande si la technique elle-même est neutre.