Les IA qui écrivent

🟢 Découverte

Un assistant d'IA n'a pas de réponse toute faite. Il écrit sa réponse un morceau après l'autre, en devinant à chaque fois ce qui vient le plus probablement après. Le petit modèle ci-dessus fait exactement cela, après avoir lu seulement quelques dizaines de phrases.

🟡 Curieux

C'est un modèle de langageModèle de langage — Programme qui, pour un début de texte, calcule la probabilité de chaque suite possible. Les grands modèles de langage (LLM) sont ceux qui font tourner les assistants comme ChatGPT, Gemini ou Le Chat. : pour un début de texte, il donne une probabilité à chaque suite possible. Le nôtre se contente de compter quel mot suit quels deux mots dans ses lectures. Les grands modèles, eux, calculent ces probabilités avec des milliards de nombres réglés pendant l'entraînement, et tiennent compte de tout ce qui précède, pas seulement des deux derniers mots.

🔴 Ingénieur

Notre modèle est un « n-gramme » (ici n = 3 : deux mots de contexte, avec repli sur un seul mot quand le contexte n'a jamais été vu). Un grand modèle de langage calcule, à partir de toute la séquence, une distribution de probabilités sur son vocabulaire de tokens, en tire un, l'ajoute à la séquence, et recommence : on dit qu'il est autorégressif.

🟢 Découverte

Un ordinateur ne calcule qu'avec des nombres. Avant tout, le texte est donc découpé en petits morceaux, les tokensToken — Morceau de texte (un mot courant, un bout de mot, un signe) que le modèle de langage manipule sous forme de numéro. Les modèles lisent et écrivent token par token., et chaque morceau reçoit un numéro. Un token, c'est souvent un mot courant, ou un bout de mot rare.

🟡 Curieux

Le découpage est appris à l'avance : on part des lettres, et l'on fusionne les paires les plus fréquentes, jusqu'à obtenir un vocabulaire de quelques dizaines à quelques centaines de milliers de tokens (50 257 pour GPT-2, environ 128 000 pour Llama 3). Les mots fréquents tiennent en un token ; les mots rares, en plusieurs.

🔴 Ingénieur

L'algorithme s'appelle BPE (byte pair encoding). Les vrais tokeniseurs partent des octets du texte encodé en UTF-8 plutôt que des lettres : ainsi, aucun caractère n'est jamais inconnu. Le modèle ne voit jamais les lettres, seulement des numéros de tokens.

🟢 Découverte

Chaque token est ensuite transformé en une liste de nombres, comme des coordonnées sur une carte. Les mots de sens proche se retrouvent près les uns des autres.

🟡 Curieux

Ces coordonnées s'appellent des plongementsPlongement (embedding) — Liste de nombres qui représente un token, comme des coordonnées : des mots de sens proche ont des plongements proches. Ils sont appris, pas choisis à la main. (embeddings). Personne ne les choisit à la main : elles sont apprises en observant quels mots apparaissent dans les mêmes contextes. Mais une carte apprise sur des textes humains reproduit aussi leurs stéréotypes.

🔴 Ingénieur

Un plongement est un vecteur de quelques centaines à quelques milliers de dimensions. La proximité se mesure souvent par le cosinus de l'angle entre deux vecteurs. Les célèbres analogies (« roi − homme + femme ≈ reine ») marchent bien pour certaines relations (pays et capitales, conjugaisons), beaucoup moins pour d'autres. Et les programmes d'évaluation excluent d'office les mots de la question : sans cette règle, le point le plus proche est le plus souvent… « roi » lui-même.

🟢 Découverte

Les calculs du modèle sont faits par des milliards de neurones artificielsNeurone artificiel — Petite formule : il multiplie chacune de ses entrées par un poids, additionne, puis transforme le résultat. Des milliards de neurones, organisés en couches, forment un réseau de neurones. : de petites formules qui multiplient des nombres par des « poids ». Au début, les poids sont pris au hasard et le modèle dit n'importe quoi. On lui montre un texte, il devine le mot suivant, on mesure son erreur, et l'on corrige un peu tous ses poids dans le bon sens. Puis on recommence, des milliards de fois.

🟡 Curieux

Les poids sont les paramètresParamètre — Nombre réglé pendant l'apprentissage, comme les poids des neurones. Un grand modèle de langage en compte des milliards. du modèle. Pour savoir dans quel sens les corriger, on calcule la pente de l'erreur : c'est la descente de gradientDescente de gradient — Méthode d'apprentissage : on mesure l'erreur du modèle, on calcule dans quel sens elle diminue (la pente), et l'on corrige un peu les paramètres dans ce sens. On recommence des milliards de fois.. Le module « Comment apprend une machine » montre tout cela en détail : un neurone qu'on règle à la main, une descente de gradient, un réseau qui apprend sous tes yeux.

🔴 Ingénieur

L'erreur est mesurée par l'entropie croisée entre la prédiction et le vrai token suivant. La rétropropagation calcule la pente par rapport à chacun des milliards de paramètres, couche par couche, de la sortie vers l'entrée. On ajuste par petits paquets d'exemples : c'est la descente de gradient stochastique. Un grand modèle de langage, ce sont surtout d'immenses multiplications de matrices.

🟢 Découverte

Pour bien deviner la suite, il faut savoir de quoi parle chaque mot. « Il », c'est qui ? L'attentionAttention — Mécanisme qui permet à chaque token de « regarder » les autres tokens du texte et d'y prendre les informations utiles, par exemple pour savoir à qui renvoie « il ». permet à chaque mot de regarder les autres mots de la phrase et d'y prendre ce qui l'aide à se comprendre.

🟡 Curieux

Chaque mot pose une question (sa « requête ») et chaque mot affiche une étiquette (sa « clé ») : plus elles se ressemblent, plus l'attention est forte. Le mot récupère alors un mélange des informations des mots qu'il regarde. C'est la pièce maîtresse des transformeursTransformeur (transformer) — Architecture de réseau de neurones fondée sur l'attention, publiée en 2017. C'est celle de tous les grands modèles de langage actuels (le T de GPT)., l'architecture de tous les grands modèles de langage actuels.

🔴 Ingénieur

Attention(Q, K, V) = softmax(QKᵀ / √dₖ) V : chaque token produit une requête Q, une clé K et une valeur V ; on compare sa requête aux clés de tous les tokens, le softmax donne des poids qui somment à 1, et l'on fait la moyenne des valeurs avec ces poids. Chaque couche contient plusieurs « têtes » en parallèle (8 dans l'article de 2017), chacune pouvant repérer un type de relation différent, et un modèle empile des dizaines de couches. Dans un modèle qui génère du texte, chaque token ne peut regarder que les tokens qui le précèdent.

🟢 Découverte

Le modèle ne choisit pas toujours le mot le plus probable : il tire au sort, en favorisant les mots probables. C'est pour cela qu'une même question n'obtient pas deux fois exactement la même réponse.

🟡 Curieux

La températureTempérature — Réglage de la part de hasard quand le modèle choisit le token suivant : basse, il prend presque toujours le plus probable ; haute, il ose des choix moins probables. règle la dose de hasard. Basse : le modèle est prévisible et se répète. Haute : il est plus inventif, mais déraille plus facilement.

🔴 Ingénieur

On divise les scores (les « logits ») par la température T avant le softmax : p = softmax(z / T). T → 0 revient à toujours prendre le plus probable. D'autres réglages limitent le tirage aux k mots les plus probables (top-k) ou à ceux qui totalisent une probabilité p (top-p).

🟢 Découverte

Derrière chaque réponse, il y a des textes écrits par des millions de personnes, des centres de données pleins de processeurs, et des travailleuses et travailleurs qui annotent et modèrent, souvent loin des projecteurs.

🟡 Curieux

Après le pré-entraînement, le modèle est ajusté avec l'aide d'humains, qui montrent de bonnes réponses et classent celles du modèle. C'est ce qui le transforme en assistant qui répond aux questions, plutôt qu'en machine qui prolonge n'importe quel texte.

🔴 Ingénieur

Cette étape s'appelle souvent RLHF (reinforcement learning from human feedback) : un second modèle, le « modèle de récompense », apprend à prédire les préférences humaines, et sert à affiner le premier par apprentissage par renforcement. Avec InstructGPT (2022), les réponses d'un modèle 100 fois plus petit que GPT-3 ont été préférées à celles de GPT-3. Mais ces préférences sont celles d'un petit groupe de personnes, pas des « valeurs humaines » universelles.