Les IA qu'on trompe exprès

🟢 Découverte

Un petit modèle reconnaît les ronds et les croix sans jamais se tromper. Ajoute à un dessin une perturbation calculée, à peine visible, et regarde-le changer d'avis.

🟡 Curieux

La perturbation n'est pas du bruit au hasard : chaque pixel bouge un tout petit peu, mais tous dans la direction qui gêne le plus le modèle. Pris un par un, ces changements ne sont rien ; additionnés sur tous les pixels, ils font basculer la décision. Pour nous, l'image n'a presque pas changé. Pour le modèle, c'est une autre forme, et il en est sûr. On appelle ça un exemple adverseExemple adverse — Donnée modifiée exprès, souvent de façon presque invisible, pour qu'une IA se trompe avec assurance : une image dont quelques pixels ont bougé, un panneau couvert d'autocollants..

🔴 Ingénieur

Le modèle de l'animation est une régression logistique : il calcule une somme pondérée des 144 pixels. Changer chaque pixel de ±ε selon le signe de son poids modifie cette somme de ε fois la somme des valeurs absolues des poids : beaucoup, quand il y a beaucoup de pixels. C'est l'explication proposée en 2014 par Goodfellow, Shlens et Szegedy pour les réseaux de neurones, qu'ils jugent « trop linéaires », et leur méthode dite du signe du gradient. Pour un vrai réseau, le gradient se calcule par rétropropagationRétropropagation — Méthode qui calcule, pour chaque paramètre d'un réseau de neurones, dans quel sens le corriger pour réduire l'erreur. On part de l'erreur à la sortie et on remonte, couche par couche, vers l'entrée..

🟢 Découverte

Modifier les pixels d'une image dans un ordinateur, c'est une chose. Mais peut-on tromper une caméra avec un objet réel, vu sous plusieurs angles, sous la pluie ou au soleil ?

🟡 Curieux

Oui, à condition de fabriquer une perturbation qui résiste aux changements : distance, angle, lumière, flou de la caméra. Elle est alors moins discrète, des autocollants plutôt qu'un bruit invisible, mais elle reste incompréhensible pour un·e humain·e, qui voit toujours un panneau stop.

🔴 Ingénieur

L'astuce consiste à optimiser la perturbation non pas pour une seule image, mais en moyenne sur beaucoup de transformations de l'image : rotations, changements d'échelle, de lumière, bruit. Ce qui trompe le modèle dans toutes ces conditions a des chances de le tromper aussi dans la rue.

🟢 Découverte

Les assistants conversationnels lisent des pages web, des e-mails, des documents, et peuvent parfois agir pour toi. Que se passe-t-il si l'un de ces textes contient un ordre qui s'adresse à l'assistant ? Essaie trois protections.

🟡 Curieux

Pour un modèle de langage, tout est du texte : ta question, la page qu'il lit, et l'ordre caché dedans. Il n'a pas de moyen sûr de savoir lequel vient de toi. C'est l'injection d'instructionsInjection d'instructions (prompt injection) — Attaque contre un assistant à base de modèle de langage : un texte qu'il lit (page web, e-mail, document) contient des ordres qui s'adressent à lui. Le modèle ne sait pas distinguer sûrement les données des instructions.. Interdire des mots ne suffit pas : on peut dire la même chose autrement, dans une autre langue, ou en codant le texte. Ce qui protège le mieux, c'est de limiter ce que l'assistant peut faire seul.

🔴 Ingénieur

Une application qui utilise un modèle de langage assemble souvent sa consigne (« Résume la page suivante ») et le texte à traiter en une seule chaîne de caractères. C'est le même défaut que l'injection SQL, où des données sont prises pour du code. Dans l'injection indirecte, l'attaquant n'écrit même pas à l'assistant : il place ses instructions dans une page ou un e-mail que l'assistant ira lire.

🟢 Découverte

Et si l'on trompait l'IA avant même qu'elle serve, en glissant quelques exemples piégés dans ses données d'entraînement ? Ajoute des croix marquées d'un petit carré et étiquetées « rond », puis teste le modèle.

🟡 Curieux

Le modèle apprend ce que les données lui montrent : ici, que le petit carré veut dire « rond ». Sur les dessins normaux, il reste parfait, et aucun test habituel ne voit le problème. Mais celui ou celle qui connaît le carré peut lui faire dire ce qu'il veut : c'est une porte dérobéePorte dérobée — Comportement caché installé dans un logiciel ou une IA : tout semble normal, sauf quand un signal précis, connu de l'attaquant, est présent., installée par empoisonnementEmpoisonnement des données — Attaque qui glisse des exemples piégés dans les données d'entraînement d'une IA, pour la rendre moins fiable ou y installer une porte dérobée. des données.

🔴 Ingénieur

Dans les dessins normaux, le coin en bas à droite est toujours vide : aucun exemple propre n'apprend au modèle à s'en méfier. Quelques exemples suffisent à lui donner un poids énorme. Les grands modèles sont entraînés sur des données ramassées sur le web, que personne ne relit en entier : il suffit de placer des pages piégées là où elles seront collectées.

🟢 Découverte

Peut-on rendre une IA impossible à tromper ? Non. Mais on peut rendre les attaques plus difficiles, et surtout limiter les dégâts quand elles réussissent.

🟡 Curieux

• Entraîner avec des exemples adverses : on montre au modèle les pièges, avec la bonne réponse. Il résiste mieux à ceux-là, moins à d'autres.
• Surveiller les données : savoir d'où elles viennent, vérifier qu'elles n'ont pas changé depuis leur collecte, chercher les exemples bizarres.
• Limiter les pouvoirs : un assistant qui peut lire ne doit pas pouvoir envoyer, payer ou effacer sans validation humaine.
• Ne pas compter sur une seule IA : plusieurs capteurs, des règles simples de sécurité, une personne qui peut reprendre la main.

🔴 Ingénieur

B. Biggio et F. Roli décrivent une « course aux armements » : chaque défense appelle une nouvelle attaque, comme pour les filtres anti-spam. Ils plaident pour une sécurité « proactive » : imaginer l'attaquant avant qu'il n'agisse, et évaluer un modèle contre des attaques conçues pour lui, pas seulement sur des exemples ordinaires.